关注前沿科技 量子位

你以为的宇树机器人(H1):

实际上的宇树机器人(G1):轻松来一个帅气的科比投篮。

或者是像罗纳尔多那样华丽旋转跳跃。

英伟达卡内基梅隆大学一起,给宇树机器人“一雪前耻”了(doge)。

只通过一个训练框架,机器人就能成为“学人精”,完成各种高难度敏捷动作。

从这样(下左图)变成这样(下右图)。

左图演我做运动

要知道,由于仿真环境和真实物理世界之间的动力学系统存在偏差,让机器人敏捷、协调地完成各种类人动作仍旧是一个巨大挑战。

ASAP方法解决的正是这个问题,论文和代码通通开源

有人感慨,看来机器人时代距我们只有几步之遥。

主创之一Jim Fan也表示:期待2030年“人形”奥运会吧。

显著提高机器人灵活性和全身协调性

简单总结论文核心提出了ASAP(Aligning Simulation and Real Physics,对齐模拟与真实物理)。

这个框架主要分为两个阶段。

第一阶段,使用经过调整的人类运动数据在模拟环境中预训练运动跟踪策略。

第二阶段,将这些策略应用到真实世界,并收集真实数据来训练一个“残差”动作模型,用来弥补模型与真实世界物理动态之间的差距。

然后ASAP将预训练的策略与差异动作模型结合,并在模拟器中进行微调,以便更好地与真实世界物理动态对接。

具体步骤分为四步:

1、运动跟踪预训练与真实轨迹收集:通过将人类视频中的运动数据转换为类人机器人动作,我们在模拟环境中预训练多个运动跟踪策略,并生成真实世界的运动轨迹。

2、差异动作模型训练:基于真实世界的运动数据,我们训练一个“差异动作模型”,通过最小化模拟状态(s\_t)和真实世界状态(s^r\_t)之间的差距来进行优化。

3、策略微调:我们固定差异动作模型,并将其集成到模拟器中,以调整模拟和真实物理之间的匹配,然后微调之前训练好的运动跟踪策略。

4、真实世界部署:最后,我们将微调过的策略直接应用到现实世界中,不再需要差异动作模型。

研究人员在三个迁移场景中评估了ASAP的效果—— 从IsaacGym到IsaacSim、从IsaacGym到Genesis,以及从IsaacGym到真实世界。

使用的机器人是宇树G1人形机器人。

如上是从IsaacGym到IsaacSim,G1踢足球的四种不同动作。值得一提的是,ASAP在多个动作中训练,不会过拟合特定示例。

从IsaacGym到IsaacSim,从IsaacSim到真实世界,ASAP微调前后G1运动跟踪表现如上。

在特定动作(詹姆斯消音步)上,可以看到使用ASAP后,机器人的稳定性更好了。

由此可以看到,G1能够完成横款大跳等有难度的运动动作,在姿态上也和人类更为贴近。

四位华人共同一作

最后来看下研究团队阵容。

18位作者中绝大多数都是华人面孔。

共同一作有四位,分别是何泰然、高嘉伟、Wenli Xiao和Yuanhang Zhang。

其中何泰然本科毕业于上海交通大学,现在是英伟达GEAR的一员,之前还在MSRA实习过。

高嘉伟本科毕业于清华大学,现在还在申请博士。

Wenli Xiao也是英伟达GEAR的一员。Yuanhang Zhang本科毕业于上海交通大学,现在在CMU读研。

One More Thing

虽然动作表现更拟人了,但是宇树机器人还是没逃过跳舞的命运……

请欣赏宇树版APT。

(统治人类后又多了一段要删除的黑历史)

项目地址: https://agile.human2humanoid....

评选报名2025年值得关注的AIGC企业&产品

下一个AI“国货之光”将会是谁?

本次评选结果将于4月中国AIGC产业峰会上公布,欢迎参与!

一键关注 👇 点亮星标

科技前沿进展每日见

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!


量子位
18 声望2 粉丝

一家专注于人工智能与前沿科技领域的产业服务平台。