news 2026/7/7 21:05:27

yolov5实现游戏图像识别与后续辅助功能

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
yolov5实现游戏图像识别与后续辅助功能

YOLOv5 是基于深度学习的目标检测算法,优势是实时性强、能识别多目标、抗光影干扰,适合 FPS 游戏中敌人、武器、爆头点等复杂目标识别。整体流程:​

二、第一步:YOLOv5 游戏目标训练(关键前提)​需先训练适配游戏场景的 YOLOv5 模型,识别敌人、爆头点等目标:​

1. 数据准备​

  • 截图采集:在游戏中截取 100-500 张包含目标(如敌人头部、身体)的图片(窗口化 / 无边框模式),覆盖不同距离、光影、姿势。​
  • 标注数据:用 LabelImg 工具标注目标,格式选择 YOLO(txt 文件),标签定义如 0:enemy_head(敌人头部)、1:enemy_body(敌人身体)。​
  • 数据集划分:按 8:1:1 拆分训练集、验证集、测试集,放入 YOLOv5 的 datasets/游戏名/ 目录。​

2. 配置 YOLOv5 训练参数​

  • 下载 YOLOv5 源码(GitHub 地址),安装依赖:pip install -r requirements.txt。​
  • 复制 models/yolov5s.yaml 为 yolov5_game.yaml,修改 nc: 2(目标类别数,如敌人头部 + 身体 = 2 类)。​
  • 复制 data/coco128.yaml 为 data/game.yaml,修改:​

3. 训练模型​

运行训练命令(按需调整 epochs 和 batch-size):​

​训练完成后,在 runs/train/exp/weights/ 中获取最佳模型 best.pt。​

4. 模型推理测试​

编写 Python 脚本测试识别效果,输出目标的屏幕坐标(x,y)、置信度:​

# detect_game.py import cv2 import torch import numpy as np # 加载YOLOv5模型 model = torch.hub.load('ultralytics/yolov5', 'custom', path='best.pt') # 替换为你的模型路径 model.conf = 0.5 # 置信度阈值(只保留置信度≥0.5的目标) def detect_enemy(screen_img): """ 输入:屏幕捕获的图像(numpy数组) 输出:识别到的目标列表 [{'x':中心x, 'y':中心y, 'conf':置信度, 'cls':类别}] """ results = model(screen_img) targets = [] # 解析识别结果 for *box, conf, cls in results.xyxy[0]: x1, y1, x2, y2 = map(int, box) center_x = (x1 + x2) // 2 # 目标中心x坐标 center_y = (y1 + y2) // 2 # 目标中心y坐标 targets.append({ 'x': center_x, 'y': center_y, 'conf': float(conf), 'cls': int(cls) }) # 按置信度排序(优先锁定最清晰的目标) targets.sort(key=lambda t: t['conf'], reverse=True) return targets # 测试:捕获屏幕并识别(需安装mss用于屏幕捕获) from mss import mss sct = mss() monitor = {"top": 0, "left": 0, "width": 1920, "height": 1080} # 游戏窗口坐标范围 while True: # 捕获屏幕画面 img = np.array(sct.grab(monitor)) img = cv2.cvtColor(img, cv2.COLOR_BGRA2BGR) # 转换颜色空间 # 识别目标 targets = detect_enemy(img) if targets: print("识别到目标:", targets[0]) # 输出最优先目标 # 按q退出 if cv2.waitKey(1) & 0xFF == ord('q'): break cv2.destroyAllWindows()

三、第二步:易语言调用 YOLOv5 识别结果​

易语言无法直接运行 PyTorch 模型,需通过 进程通信 让 Python(YOLOv5)将识别结果传递给易语言,推荐两种方式:​

方式 1:共享内存(高效实时,推荐)​

Python 将目标坐标写入 Windows 共享内存,易语言读取共享内存数据,延迟<10ms,适合 FPS 实时瞄准。​

(1)Python 端:写入共享内存​

安装依赖:pip install pywin32​ ​while True:​ img = np.array(sct.grab(monitor))​ img = cv2.cvtColor(img, cv2.COLOR_BGRA2BGR)​ targets = detect_enemy(img) # 调用第一步的识别函数​ write_target_to_mem(targets[0] if targets else None)​ if cv2.waitKey(1) & 0xFF == ord('q'):​ break​ ​ # 关闭资源​ win32file.UnmapViewOfFile(p_buf)​ win32file.CloseHandle(h_map_file)​ ​

(2)易语言端:读取共享内存​

通过 Windows API 读取共享内存数据,核心代码:​

​.支持库 spec​

​// 声明共享内存相关API​

.DLL命令 CreateFileMappingA, 整数型, "kernel32.dll", "CreateFileMappingA"​

.参数 hFile, 整数型​

.参数 lpFileMappingAttributes, 整数型​

.参数 flProtect, 整数型​

.参数 dwMaximumSizeHigh, 整数型​

.参数 dwMaximumSizeLow, 整数型​

.参数 lpName, 文本型​

​.DLL命令 MapViewOfFile, 整数型, "kernel32.dll", "MapViewOfFile"​

.参数 hFileMappingObject, 整数型​

.参数 dwDesiredAccess, 整数型​

.参数 dwFileOffsetHigh, 整数型​

.参数 dwFileOffsetLow, 整数型​

.参数 dwNumberOfBytesToMap, 整数型​

​.DLL命令 CopyMemory, 整数型, "kernel32.dll", "RtlMoveMemory"​

.参数 Destination, 整数型​

.参数 Source, 整数型​

.参数 Length, 整数型​

​.DLL命令 UnmapViewOfFile, 逻辑型, "kernel32.dll", "UnmapViewOfFile"​

.参数 lpBaseAddress, 整数型​

​方式 2:Socket 网络通信(跨设备 / 调试方便)​

Python 作为服务端,易语言作为客户端,通过 TCP 发送识别结果,适合调试或非实时场景,核心代码简化:​

  • Python 端(TCP 服务端):用 socket 库监听端口,持续发送目标 JSON 数据。​
  • 易语言端(TCP 客户端):用 网络通讯支持库 连接服务端,接收并解析 JSON。​

四、第三步:易语言衔接自动化操作(瞄准 / 射击)​

结合 YOLOv5 识别到的目标坐标,实现平滑瞄准和射击,核心代码:​

​.版本 2​

.支持库 eAPI​

​// 声明鼠标操作API(同之前代码)​

.DLL命令 SetCursorPos, 逻辑型, "user32.dll", "SetCursorPos"​

.参数 X, 整数型​

.参数 Y, 整数型​

​.DLL命令 mouse_event, 逻辑型, "user32.dll", "mouse_event"​

.参数 dwFlags, 整数型​

.参数 dx, 整数型​

.参数 dy, 整数型​

.参数 cButtons, 整数型​

.参数 dwExtraInfo, 整数型​

​.常量 MOUSEEVENTF_LEFTDOWN, "2"​

.常量 MOUSEEVENTF_LEFTUP, "4"​

​// 全局变量​

.全局变量 脚本开关, 逻辑型, , "假"​

.全局变量 游戏窗口偏移X, 整数型 // 游戏窗口左上角X坐标(避免全屏偏移)​

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/7 0:32:16

还有一年期免费SSL证书吗?在哪里申请?

在网站运营、个人博客或开发测试中,为站点部署SSL证书以实现HTTPS加密,已成为一项基本要求。对于预算有限的个人或小型团队来说,寻找可靠且真正免费的SSL证书是一个实际需求。答案是肯定的,一年期免费SSL证书现在依然可以申请。 本…

作者头像 李华
网站建设 2026/7/7 19:03:25

Dify + Docker Compose 实现AI应用本地化快速部署

Dify Docker Compose 实现 AI 应用本地化快速部署 在企业加速拥抱人工智能的今天,一个现实问题始终困扰着技术团队:如何让大模型能力真正落地?不是停留在演示 PPT 上的“智能对话”,而是能嵌入业务流程、可维护、可迭代、安全可控…

作者头像 李华
网站建设 2026/7/7 14:08:23

为什么99%的量子计算项目忽略镜像缓存?这3个致命后果你承担得起吗?

第一章:量子计算镜像的构建缓存 在量子计算模拟环境中,构建高效的系统镜像是加速实验迭代的关键环节。通过引入构建缓存机制,可以显著减少重复编译量子电路和初始化环境的时间开销。该机制依赖于对量子模拟器依赖项、中间量子态快照以及经典控…

作者头像 李华
网站建设 2026/7/7 19:27:59

横河WT3000E WT1800 WT500功率分析仪

WT3000E 横河WT3000E功率分析仪 目前光伏逆变器等设备的整体工作效率已达到90%至96%。要进一步提高效率,即使是几个小数点,对制造商来说也是件***挑战且至关重要的事情。WT3000E作为功率分析仪,所提供的水平可以真正验证效率上的细微改进。 精…

作者头像 李华
网站建设 2026/7/7 9:51:18

吉时利DMM7510 DMM6500数字万用表

DMM7510型仪表实现数据可视化和灵活交互性的结合。DMM7510具有信号分析灵活性;5英寸电容触摸显示屏使得它易于观察、交互和测量,具有双指缩放功能。这个高性能和易用性组合可以使用户提高工作效率,深入洞察测量。 DMM7510型7位半触摸屏数采万…

作者头像 李华