Google DeepMind发布Robotics Transformer 2 (RT-2)

Google DeepMind最近发布了Robotics Transformer 2 (RT-2)，这是一种用于控制机器人的视觉-语言-动作（VLA）AI模型。RT-2通过微调的大型语言模型（LLM）输出运动控制命令，能够执行训练数据中未明确包含的任务，并在新兴技能评估中比基线模型提升高达3倍。

模型架构与训练

DeepMind训练了RT-2的两个变体，分别基于两种不同的视觉-LLM基础模型：

• PaLM-E：12B参数版本
• PaLI-X：55B参数版本

RT-2的LLM在通用视觉-语言数据集和机器人特定数据的混合上进行联合微调。模型学习输出机器人运动命令的向量，这些向量被视为简单的整数字符串，实际上是一种模型学习的新语言。最终模型能够接受机器人工作空间的图像和用户命令（例如“捡起即将从桌子上掉落的包”），并生成执行任务的运动命令。

RT-2的优势与前景

DeepMind表示，RT-2不仅展示了AI技术如何迅速应用于机器人领域，还为更通用的机器人技术展示了巨大潜力。尽管在人类中心环境中实现有用的机器人仍有许多工作要做，但RT-2为机器人技术的未来描绘了令人兴奋的前景。

与先前工作的对比

Google Robotics和DeepMind此前发布了多个使用LLM进行机器人控制的系统，如2022年的SayCan和Code-as-Policies，以及2023年的PaLM-E。这些系统大多使用文本LLM处理用户输入，视觉组件由单独的机器人模块处理。

RT-2基于先前的RT-1实现，其核心思想是训练模型直接输出机器人命令，而不是输出更高级别的运动抽象。与RT-1使用多个视觉模块生成视觉令牌不同，RT-2使用单一的视觉-语言模型（如PaLM-E）。

评估与性能

DeepMind对RT-2进行了超过6000次试验的评估，重点关注其新兴能力，即执行机器人特定训练数据中未包含但源于视觉-语言预训练的任务。RT-2在符号理解、推理和人类识别三个任务类别上进行了测试，与基线相比，其平均成功率提升了3倍以上。然而，模型并未获得未包含在机器人训练数据中的物理技能。

社区反馈

在Hacker News的讨论中，有用户指出，当前机器人学习工作仍停留在位置/速度控制，而非阻抗控制。这虽然降低了数据需求，但也限制了能够完成的任务范围。机器人操作的难点在于需要考虑世界中的变化以及交互如何改变这些变化，并做出相应的反应。

开源情况

尽管RT-2尚未开源，但其前身RT-1的代码和数据已经公开。