谷歌发布GameNGen：生成式AI模型模拟《毁灭战士》

谷歌研究团队最近发布了一篇关于GameNGen的论文，这是一种生成式AI模型，能够模拟经典视频游戏《毁灭战士》。GameNGen以每秒20帧的速度运行，并在人类评估中仅略逊色于实际游戏。

主要观点

1. 技术基础：GameNGen基于开源的Stable Diffusion v1.4文本到图像模型。谷歌对其进行了修改，使其能够从先前的帧和动作输入（如按键或鼠标点击）生成游戏帧。
2. 训练数据：为了大规模生成训练数据，谷歌使用了一个通过强化学习训练的游戏代理，收集了约9亿帧的游戏画面和相应的动作。
3. 模型能力：训练后，模型能够模拟并维持游戏的复杂状态，包括玩家健康和物品等。
4. 人类评估：在人类评估中，模拟游戏的视频片段在40%的情况下被评委们青睐于实际游戏片段。

关键信息

• 应用前景：谷歌认为，这种新范式可能会降低视频游戏的开发成本，使游戏开发更加便捷。例如，游戏可以通过文本描述或示例图像进行开发和编辑。
• 短期目标：短期内，可能实现为现有游戏创建修改或新行为，例如将一组帧转换为新的可玩关卡或基于示例图像创建新角色，而无需编写代码。
• 技术优势：该范式还提供了对帧率和内存占用的强大保证。

重要细节

• 模型架构：GameNGen的架构包括噪声输入和去噪输出，以解决训练初期出现的错误累积和样本质量快速退化问题。
• 社区反应：在Reddit和Hacker News上，用户对GameNGen进行了讨论，认为其在扩散模型中展现出比预期更多的因果关系和序列性。
• 代码和权重：尽管谷歌没有发布GameNGen的代码，但其基础模型Stable Diffusion的权重在Huggingface上可用。

总结

GameNGen展示了生成式AI在视频游戏模拟中的潜力，尽管仍有许多问题待解决，但其应用前景广阔，尤其是在降低游戏开发成本和提升开发便捷性方面。