Nvidia推出GR00T模型以构建智能人形机器人

在最近的GTC 2024活动中，Nvidia宣布推出一个名为GR00T（Generalist Robot 00 Technology）的基础模型，旨在构建智能人形机器人。该模型能够理解自然语言，观察人类行为并模仿人类动作。

GR00T模型的核心功能

GR00T模型通过多模态指令和过去的交互作为输入，生成机器人执行的动作。Nvidia CEO黄仁勋表示，创建智能人形机器人是当前最令人兴奋的AI问题。GR00T机器人将通过观察人类学习协调和其他技能，以便在现实世界中导航、适应和互动。

Jetson Thor系统模块

为了支持GR00T，Nvidia开发了新的系统模块系列Jetson Thor，采用最新的Blackwell图形架构，能够提供800 teraflops（TFLOPS）的八位浮点计算能力。

Nvidia Isaac Sim平台

GR00T的基础是Nvidia Isaac Sim，这是一个基于Omniverse的可扩展机器人模拟平台，旨在改进基于AI的机器人设计和测试方式。

Nvidia Osmo计算编排平台

为了大规模训练GR00T，Nvidia还构建了新的计算编排平台Nvidia Osmo，旨在协调多个Nvidia系统的训练和推理，包括用于训练的DGX系统、用于模拟的OVX系统以及用于硬件在环验证的IGX和AGX系统。

Isaac Lab应用

Nvidia Isaac Lab是一个GPU加速的轻量级性能优化应用，专门用于运行数千个并行模拟，以支持机器人学习。

GR00T的组成部分

虽然GR00T仍在开发中，Nvidia已经宣布了其两个组成部分，作为Isaac平台的一部分：

• Isaac Manipulator：用于机械臂操作的基础模型，提供高达80倍的路径规划加速和零样本感知，提高效率和吞吐量，使开发者能够自动化更多新的机器人任务。
• Isaac Perceptor：一系列硬件加速的视觉AI和感知包，旨在提高自主移动机器人在制造和物流等环境中的效率和安全性。

这些组件预计将在下一季度推出。

Nvidia加入开源机器人联盟

Nvidia还加入了开源机器人联盟，旨在为机器人操作系统（ROS）提供财务和行业支持。不过，Nvidia尚未详细说明是否计划将ROS用于GR00T机器人。