AI打游戏-伍（游戏，启动！）

头像
言午日尧耳总
     福建
    阅读 8 分钟
    头图

    AI打游戏-伍（游戏，启动！）

    目标

    • 使用代码调用yolo模型，并解析预测结果
    • 读取游戏视频预测结果，并可视化
    • 读取游戏窗口预测结果，并可视化
    • 根据预测结果，模拟操作鼠标操作

    步骤

    官方文档

    代码预测静态图片

    • 读取游戏截图，送入yolo网络预测
    • 解析预测结果
    import cv2
from ultralytics import YOLO

model = YOLO('runs/detect/train/weights/best.pt')
image = cv2.imread('E:\\ai-play-game\\project-1-at-2023-09-13-17-05-6275bec0\\images\\0d332b6a-8100.jpg')
# 预测结果（返回列表，因为同时输入一组图片）
result = model(image)[0]

print(f"result.names: {result.names}")
print(f"result.boxes: {result.boxes}")
# 观察打印结果，可以找到不同的输出类型：xywh,xywhn,xyxy,xyxyn

# 如果使用GPU训练，则tensor在GPU中，先使用.cpu()转到内存中才能使用
# 由于opencv框选标记使用xyxy，刚好可以使用result.boxes.data
# 内容格式：[[x1,y1,x2,y2,置信值,类别]]
print(f"坐标信息：{result.boxes.data.cpu().numpy().tolist()}")

    可视化预测结果

    • 打印坐标不够直观，使用opencv显示出结果
    • 读取视频代码
    import cv2

def main():
    image = cv2.imread('E:\\ai-play-game\\project-1-at-2023-09-13-17-05-6275bec0\\images\\0d332b6a-8100.jpg')
    # 显示图片
    cv2.imshow("image", image)
    # 显示5秒或按"Esc"键退出
    if cv2.waitKey(5000) & 0xFF == 27:
        cv2.destroyAllWindows()


if __name__ == "__main__":
    main()
    • 加上yolo后
    import cv2
from ultralytics import YOLO

# 加载模型
model = YOLO('runs/detect/train/weights/best.pt')
# 类别对应的名字，及rgb颜色
clazz_dict = {
    0: ('hellhound', (255, 0, 0)),
    1: ('samurais', (0, 255, 0)),
    2: ('player', (0, 0, 255)),
    3: ('fireflies', (255, 255, 0)),
}


def ai_boxes(image):
    """
    增加ai识别的框
    :param image: 图片像素张量
    :return: 增加显示后的张量
    """
    result = model(image)[0]
    boxes = result.boxes.data.cpu().numpy().tolist()
    for x1, y1, x2, y2, conf, cls in boxes:
        x1, y1, x2, y2, cls = int(x1), int(y1), int(x2), int(y2), int(cls)
        cls_name, cls_rgb = clazz_dict[cls]
        # 增加框
        cv2.rectangle(image, (x1, y1), (x2, y2), cls_rgb, 1)
        # 增加文字
        cv2.putText(image, cls_name, (x1, y1), cv2.FONT_HERSHEY_COMPLEX, 0.5, cls_rgb, 1)
    return image


def main():
    image = cv2.imread('E:\\ai-play-game\\project-1-at-2023-09-13-17-05-6275bec0\\images\\0d332b6a-8100.jpg')
    image = ai_boxes(image)
    # 显示图片
    cv2.imshow("image", image)
    # 显示5秒或按"Esc"键退出
    if cv2.waitKey(5000) & 0xFF == 27:
        cv2.destroyAllWindows()


if __name__ == "__main__":
    main()

    可视化解析视频

    • 将来源替换成视频
    • 读取视频代码
    import cv2

def main():
    cap = cv2.VideoCapture("E:\\ai-play-game\\2023-09-12 23-27-51.mp4")
    while cap.isOpened():
        ret, frame = cap.read()
        if ret:
            cv2.imshow("video", frame)
        # 按"Esc"键退出
        if cv2.waitKey(1) & 0xFF == 27:
            break

    cap.release()
    cv2.destroyAllWindows()


if __name__ == "__main__":
    main()
    • 加上YOLO后
    import cv2
from ultralytics import YOLO

# 加载模型
model = YOLO('runs/detect/train/weights/best.pt')
# 类别对应的名字，及rgb颜色
clazz_dict = {
    0: ('hellhound', (255, 0, 0)),
    1: ('samurais', (0, 255, 0)),
    2: ('player', (0, 0, 255)),
    3: ('fireflies', (255, 255, 0)),
}


def ai_boxes(image):
    """
    增加ai识别的框
    :param image: 图片像素张量
    :return: 增加显示后的张量
    """
    result = model(image)[0]
    boxes = result.boxes.data.cpu().numpy().tolist()
    for x1, y1, x2, y2, conf, cls in boxes:
        x1, y1, x2, y2, cls = int(x1), int(y1), int(x2), int(y2), int(cls)
        cls_name, cls_rgb = clazz_dict[cls]
        # 增加框
        cv2.rectangle(image, (x1, y1), (x2, y2), cls_rgb, 2)
        # 增加文字
        cv2.putText(image, cls_name, (x1, y1), cv2.FONT_HERSHEY_COMPLEX, 1, cls_rgb, 2)
    return image


def main():
    cap = cv2.VideoCapture("E:\\ai-play-game\\2023-09-12 23-27-51.mp4")
    while cap.isOpened():
        ret, frame = cap.read()
        if ret:
            frame = ai_boxes(frame)
            cv2.imshow("video", frame)
        # 按"Esc"键退出
        if cv2.waitKey(1) & 0xFF == 27:
            break

    cap.release()
    cv2.destroyAllWindows()


if __name__ == "__main__":
    main()

    读取游戏窗口

    • pip安装依赖
    pip install pywin32
    • 读取窗口代码
    import cv2
from ultralytics import YOLO
import win32gui
import numpy as np
from PIL import ImageGrab

def main():
    # 读取游戏窗口，需要先打开游戏
    win_id = win32gui.FindWindow(None, 'Tap Ninja')
    while True:
        # 获取窗口位置信息
        win_bbox = win32gui.GetWindowRect(win_id)
        # 读取窗口位置像素信息
        game_window = np.array(ImageGrab.grab(bbox=win_bbox))
        # 两个库色彩模式不同，转换色彩模式
        image = cv2.cvtColor(game_window, cv2.COLOR_BGR2RGB)

        cv2.imshow("video", image)
        # 按"Esc"键退出
        if cv2.waitKey(1) & 0xFF == 27:
            break
    cv2.destroyAllWindows()


if __name__ == "__main__":
    main()
    • 加上YOLO后
    import cv2
from ultralytics import YOLO
import win32gui
import numpy as np
from PIL import ImageGrab

# 加载模型
model = YOLO('runs/detect/train/weights/best.pt')
# 类别对应的名字，及rgb颜色
clazz_dict = {
    0: ('hellhound', (255, 0, 0)),
    1: ('samurais', (0, 255, 0)),
    2: ('player', (0, 0, 255)),
    3: ('fireflies', (255, 255, 0)),
}


def ai_boxes(image):
    """
    增加ai识别的框
    :param image: 图片像素张量
    :return: 增加显示后的张量
    """
    result = model(image)[0]
    boxes = result.boxes.data.cpu().numpy().tolist()
    for x1, y1, x2, y2, conf, cls in boxes:
        x1, y1, x2, y2, cls = int(x1), int(y1), int(x2), int(y2), int(cls)
        cls_name, cls_rgb = clazz_dict[cls]
        # 增加框
        cv2.rectangle(image, (x1, y1), (x2, y2), cls_rgb, 2)
        # 增加文字
        cv2.putText(image, cls_name, (x1, y1), cv2.FONT_HERSHEY_COMPLEX, 1, cls_rgb, 2)
    return image


def main():
    # 读取游戏窗口，需要先打开游戏
    win_id = win32gui.FindWindow(None, 'Tap Ninja')
    while True:
        # 获取窗口位置信息
        win_bbox = win32gui.GetWindowRect(win_id)
        # 读取窗口位置像素信息
        game_window = np.array(ImageGrab.grab(bbox=win_bbox))
        # 两个库色彩模式不同，转换色彩模式
        image = cv2.cvtColor(game_window, cv2.COLOR_BGR2RGB)

        image = ai_boxes(image)
        cv2.imshow("video", image)
        # 按"Esc"键退出
        if cv2.waitKey(1) & 0xFF == 27:
            break
    cv2.destroyAllWindows()


if __name__ == "__main__":
    main()

    模拟鼠标操作

    • pip安装依赖
    pip install pyautogui
    • 由于游戏使用DirectX渲染，pyautogui需要管理员权限才能在游戏中模拟鼠标操作
    • 重新一定要重新使用"管理员"打开IDE ！！！
    import cv2
from ultralytics import YOLO
import win32gui
import numpy as np
from PIL import ImageGrab
import pyautogui

# 加载模型
model = YOLO('runs/detect/train/weights/best.pt')
# 类别对应的名字，及rgb颜色
clazz_dict = {
    0: ('hellhound', (255, 0, 0)),
    1: ('samurais', (0, 255, 0)),
    2: ('player', (0, 0, 255)),
    3: ('fireflies', (255, 255, 0)),
}


def controller(boxes):
    """
    控制模拟玩家操作
    :param boxes: YOLO预测结果
    """
    player_fire_x = None
    other_x1_list = []
    for x1, y1, x2, y2, conf, cls in boxes:
        if int(cls) == 2:
            # 操作位置：玩家前方一个身位的位置
            player_fire_x = x2 + (x2 - x1)
        else:
            other_x1_list.append(x1)
    if player_fire_x is not None and len(other_x1_list) > 0:
        for x1 in other_x1_list:
            if x1 < player_fire_x:
                # 点击鼠标左键
                pyautogui.click(button='left')
                print("**************************** 点击 ****************************")


def ai_boxes(image):
    """
    增加ai识别的框
    :param image: 图片像素张量
    :return: 增加显示后的张量
    """
    result = model(image)[0]
    boxes = result.boxes.data.cpu().numpy().tolist()
    for x1, y1, x2, y2, conf, cls in boxes:
        x1, y1, x2, y2, cls = int(x1), int(y1), int(x2), int(y2), int(cls)
        cls_name, cls_rgb = clazz_dict[cls]
        # 增加框
        cv2.rectangle(image, (x1, y1), (x2, y2), cls_rgb, 2)
        # 增加文字
        cv2.putText(image, cls_name, (x1, y1), cv2.FONT_HERSHEY_COMPLEX, 1, cls_rgb, 2)
    # 判断位置并控制
    controller(boxes)
    return image


def main():
    # 读取游戏窗口，需要先打开游戏
    win_id = win32gui.FindWindow(None, 'Tap Ninja')
    while True:
        # 获取窗口位置信息
        win_bbox = win32gui.GetWindowRect(win_id)
        # 读取窗口位置像素信息
        game_window = np.array(ImageGrab.grab(bbox=win_bbox))
        # 两个库色彩模式不同，转换色彩模式
        image = cv2.cvtColor(game_window, cv2.COLOR_BGR2RGB)

        image = ai_boxes(image)
        cv2.imshow("video", image)
        # 按"Esc"键退出
        if cv2.waitKey(1) & 0xFF == 27:
            break
    cv2.destroyAllWindows()


if __name__ == "__main__":
    main()

    小结

    • 看出识别结果不够准确

    • 提升准确率

      • 调整训练参数
      • 增加训练集样本数量
      • 区分训练集和验证集

    总结

    • AI算法不仅是模型训练，还包含了很多上下游工作

    • 通常是以下几个步骤

      • 发现一个问题或者需求，分析解决方案
      • 收集数据
      • 标注数据
      • 模型训练
      • 部署使用
      • 效果监控，收集数据，迭代算法
    人工智能游戏
    言午日尧耳总
    1 声望5 粉丝

    不秃顶、不猝死，顺顺利利活到100可以吗？

    « 上一篇
    AI打游戏-肆（模型训练）
    下一篇 »
    SpringBoot3.x使用Swagger

    引用和评论

    推荐阅读
    头像
    LangChain接入本地/国产大模型

    言午日尧耳总阅读 123

    头像
    Light·技术公益创造营，开营了！

    SegmentFault思否赞 3阅读 12.6k

    头像
    数据集汇总｜18个电影/音乐数据集汇总，覆盖影片/歌曲推荐、电影评价、歌词识别、音乐流派······

    超神经HyperAI赞 3阅读 1.1k

    头像
    详解Diffusion扩散模型：理论、架构与实现

    techlead_kris赞 2阅读 1.1k

    头像
    Looktech 发布 AI 智能眼镜：旋钮交互引领创新，智能体小程序开启无限可能

    思否编辑部赞 1阅读 3.4k

    头像
    RAG+Agent人工智能平台：RAGflow实现GraphRA知识库问答，打造极致多模态问答与AI编排流体验

    汀丶赞 1阅读 1.4k

    头像
    8款国内外免费AI生成视频工具对比实测！我们真的可以做到“一人搞定一部影视作品“吗？

    金融机器智能官方赞 1阅读 4.6k评论 1

    0 条评论
    得票最新