NVDIA Isaac GR00T N1,全球首个开源人形机器人基础模型是黄仁勋GTC主题演讲中的亮点之一。
这是英伟达“Project GR00T”项目的最新成果,基于其在2024年GTC大会上首次推出的机器人研究项目。N1代表“第一代”,是英伟达专为加速人形机器人开发设计的通用AI模型。与传统机器人依赖特定任务编程不同,GR00T N1是一个“通才模型”(Generalist model),能够处理多种任务并适应不同的人形机器人形态。

GR00T N1 可轻松适应并完成通用任务,如单手或双手抓取、移动物体,将物体从一只手臂转移到另一只手臂,或执行需要长语境和通用技能组合的多步骤任务。在 GTC 主题演讲中,黄仁勋展示了 1X Technologies公司名为NEO Gamma的人形机器人自主执行室内清理任务的过程,该过程利用了基于 GR00T N1 的后训练策略。
1X Technologies 首席执行官 Bernt Børnich 透露: “我们仅需最少量的后训练数据,就能在 NEO Gamma 上全面部署,这进一步推进了我们的使命——我们创造的机器人不是工具,而是伙伴。”
GR00T N1采用双系统架构。其中“系统 1”是一个快速思考的动作模型,反映人类的本能反应或直觉;“系统 2”是慢思考模型,由视觉语言模型提供支持,它会对所处环境和接收到的指令进行推理,从而规划行动,然后交由系统 1将这些规划转化为精确、连续的机器人运动。
系统 1 基于人类演示数据和 NVIDIA Omniverse 平台生成的海量合成数据进行训练。为了进一步为开发者社区提供有价值的训练数据,NVIDIA 将发布 GR00T N1 数据集,作为更大的开源物理 AI 数据集的一部分,现在可通过 Hugging Face 下载。NVIDIA GR00T N1 训练数据和任务评估场景现在可以通过 Hugging Face 和 GitHub 下载。其中,用于合成运动生成的 NVIDIA Isaac GR00T Blueprint 现在也以交互式演示形式在 build.nvidia.com 展示,也可以通过 GitHub 下载。利用Isaac GR00T Blueprint ,NVIDIA 能够在短短 11 小时内生成 78万 个合成轨迹,相当于 6500 小时或连续九个月的人类演示数据。然后,通过将合成数据与真实数据相结合,与仅使用真实数据相比,NVIDIA 将 GR00T N1 的性能提高了 40%。
目前,Isaac GR00T Blueprint虽然没有明确提到全面开源,但它基于 Omniverse 和 NVIDIA Cosmos Transfer 世界基础模型构建,在一定程度上是面向开发者开放的,可视为开源生态的一部分。
全球其他优先使用 GR00T N1 的领先机器人公司包括 Agility Robotics、波士顿动力、Mentee Robotics 和 NEURA Robotics。
相比Isaac GR00T N1,Newton 是另外一个焦点
Newton 基于 NVIDIA Warp 框架构建,将针对机器人学习进行优化,并与 Google DeepMind MuJoCo 和 NVIDIA Isaac Lab 等仿真框架兼容。Newton由NVIDIA、Google DeepMind、Disney Research 共同开发,也是一个开源物理引擎 ,也就是说,它能借助计算机模拟物理世界中的各种现象和物体的行为,比如物体的运动、碰撞、受力后的状态变化等,做出符合物理规律的动作和决策。三家公司还计划让 Newton 能够利用迪士尼的物理引擎。
据透露,Google DeepMind 正在和 NVIDIA 合作开发 MuJoCo-Warp,预计将机器人机器学习工作负载处理速度提升至 70 倍以上,并将通过 Google DeepMind 的 MJX 开源库和 Newton 提供给开发者。
此次 GTC 主题演讲中和黄仁勋一起登台,以星球大战为灵感,由Walt Disney设计的富有表现力的 BDX 机器人,就是使用Newton平台的成果。
“BDX 机器人只是一个开始,我们能够创造出比以往更具表现力、更具吸引力的新一代机器人角色,并以迪士尼独有的方式与我们的游客建立联系。而与 Disney Research、NVIDIA 和 Google DeepMind 的合作是实现这一愿景的关键,”Walt Disney 想象工程研发部门高级副总裁 Kyle Laughlin 说。 “”
NVIDIA 还将和 Disney Research 及 Intrinsic 进一步合作,为机器人数据流构建 OpenUSD 管线和最佳实践。