头图

图片
GR-2

在科幻电影中,我们经常能看到人类通过远程操控机器人完成各种复杂任务的场景。而今天,这样的科幻场景正在成为现实。随着字节跳动研究团队最新推出的第二代机器人大模型GR-2(Generative Robot 2.0)的问世,我们离梦想中的未来又近了一步。

GR-2

图片
GR-2 介绍

GR-2是一种最先进的通用机器人代理,用于多功能和可通用的机器人操作。GR-2 首先在大量互联网视频上进行预训练,以捕捉世界动态。这种大规模的预训练涉及 3800 万个视频剪辑和超过 500 亿个代币,使 GR-2 能够在随后的策略学习中泛化到广泛的机器人任务和环境。

而且GR-2 对使用机器人轨迹的视频生成和动作预测进行了微调。它表现出令人印象深刻的多任务学习能力,在 97.7 多项任务中实现了 100% 的平均成功率。此外,GR-2 展示了对新的、以前从未见过的场景的非凡泛化,包括新的背景、环境、对象和任务。值得注意的是,它可以有效地随模型大小扩展,突显了其持续增长和应用的潜力。

技术性突破

图片
GR-2 训练过程展示

GR-2 的训练分为两个阶段:视频生成预训练和机器人数据微调。在预训练期间,我们在一个精心策划的大规模视频数据集上训练 GR-2 以生成视频,该数据集包含不同背景下的各种日常人类活动。通过掌握视频生成,GR-2 捕获了对下游策略学习至关重要的关键时间动态和语义信息。

在微调过程中,根据机器人数据训练 GR-2 以协同预测动作轨迹和视频。得益于新颖的模型架构,在预训练阶段收集的知识可以无损地转移到微调阶段。GR-2 与预训练数据中只有一个摄像头视图的视频不同,机器人数据通常包含多个视图。GR-2 旨在优雅地处理多个视图和在笛卡尔空间中生成动作轨迹。为了确保机械臂准确跟随轨迹,字节跳动团队开发了一种全身控制 (WBC) 算法,该算法采用轨迹优化进行运动跟踪。

图片
GR-2 学习成功率

GR-2 能够以非常高的成功率完成 105 个操作任务,在训练过程中GR-2 展示了强大的多任务学习能力。开发团队还在具有挑战性的场景中评估了 GR-2,包括干扰物、看不见的背景、看不见的环境和看不见的操作。GR-2 可以处理干扰物并正确处理目标物体。它在看不见的背景和环境中实现了很高的成功率,展示了强大的泛化能力。

GR-2 还能够执行机器人训练数据中看不到的操作且还能有效地学习 105 个任务,并做到每个任务只需 50 个轨迹。这大大降低了在实际应用中获取新技能和适应新环境的成本。

实测展示

图片
GR-2 实测效果展示

从官方给出的实机演示来看,GR-2 的性能十分不错,在视频中 GR-2 可以正确的读取使用者发出的指令,将栏中的所有物品放到另一个栏中。不仅如此,GR-2 还可以使用烤面包机烘烤面包、使用咖啡机泡咖啡等一系列的行动,使用场景可以说是非常广泛。

图片
GR-2 实测效果展示

GR-2的诞生,不仅仅是机器人技术的一次飞跃,更是人工智能与物理世界深度融合的里程碑。傅利叶创始人兼CEO顾捷表示:"我们的目标是为AI打造最佳具身载体。当人形机器人本体在各个维度都达到最优,它将成为AI的最佳具身选择。" 

有关厚德云

厚德云致力于为用户提供稳定、可靠、易用、省钱的 GPU 算力解决方案。海量 GPU 算力资源租用,就在厚德云。


厚德云
6 声望6 粉丝

厚德云是一个专业的 GPU 算力云平台,专注于为人工智能从业者提供高效、便捷、灵活的 GPU 算力资源租用服务。我们旨在帮助客户加速人工智能的研发和应用进程,实现业务的快速发展。