全球首个开源人形机器人基础模型 NVIDIA Isaac GR00T N1看点

NVDIA Isaac GR00T N1,全球首个开源人形机器人基础模型是黄仁勋GTC主题演讲中的亮点之一。

这是英伟达“Project GR00T”项目的最新成果,基于其在2024年GTC大会上首次推出的机器人研究项目。N1代表“第一代”,是英伟达专为加速人形机器人开发设计的通用AI模型。与传统机器人依赖特定任务编程不同,GR00T N1是一个“通才模型”(Generalist model),能够处理多种任务并适应不同的人形机器人形态。

GR00T N1 可轻松适应并完成通用任务,如单手或双手抓取、移动物体,将物体从一只手臂转移到另一只手臂,或执行需要长语境和通用技能组合的多步骤任务。在 GTC 主题演讲中,黄仁勋展示了 1X Technologies公司名为NEO Gamma的人形机器人自主执行室内清理任务的过程,该过程利用了基于 GR00T N1 的后训练策略。

1X Technologies 首席执行官 Bernt Børnich 透露: “我们仅需最少量的后训练数据,就能在 NEO Gamma 上全面部署,这进一步推进了我们的使命——我们创造的机器人不是工具,而是伙伴。”

GR00T N1采用双系统架构。其中“系统 1”是一个快速思考的动作模型,反映人类的本能反应或直觉;“系统 2”是慢思考模型,由视觉语言模型提供支持,它会对所处环境和接收到的指令进行推理,从而规划行动,然后交由系统 1将这些规划转化为精确、连续的机器人运动。

系统 1 基于人类演示数据和 NVIDIA Omniverse 平台生成的海量合成数据进行训练。为了进一步为开发者社区提供有价值的训练数据,NVIDIA 将发布 GR00T N1 数据集,作为更大的开源物理 AI 数据集的一部分,现在可通过 Hugging Face 下载。NVIDIA GR00T N1 训练数据和任务评估场景现在可以通过 Hugging FaceGitHub 下载。其中,用于合成运动生成的 NVIDIA Isaac GR00T Blueprint 现在也以交互式演示形式在 build.nvidia.com 展示,也可以通过 GitHub 下载。利用Isaac GR00T Blueprint ,NVIDIA 能够在短短 11 小时内生成 78万 个合成轨迹,相当于 6500 小时或连续九个月的人类演示数据。然后,通过将合成数据与真实数据相结合,与仅使用真实数据相比,NVIDIA 将 GR00T N1 的性能提高了 40%。

目前,Isaac GR00T Blueprint虽然没有明确提到全面开源,但它基于 Omniverse 和 NVIDIA Cosmos Transfer 世界基础模型构建,在一定程度上是面向开发者开放的,可视为开源生态的一部分。

全球其他优先使用 GR00T N1 的领先机器人公司包括 Agility Robotics、波士顿动力、Mentee Robotics 和 NEURA Robotics。

相比Isaac GR00T N1,Newton 是另外一个焦点

Newton 基于 NVIDIA Warp 框架构建,将针对机器人学习进行优化,并与 Google DeepMind MuJoCo 和 NVIDIA Isaac Lab 等仿真框架兼容。Newton由NVIDIA、Google DeepMind、Disney Research 共同开发,也是一个开源物理引擎 ,也就是说,它能借助计算机模拟物理世界中的各种现象和物体的行为,比如物体的运动、碰撞、受力后的状态变化等,做出符合物理规律的动作和决策。三家公司还计划让 Newton 能够利用迪士尼的物理引擎。

据透露,Google DeepMind 正在和 NVIDIA 合作开发 MuJoCo-Warp,预计将机器人机器学习工作负载处理速度提升至 70 倍以上,并将通过 Google DeepMind 的 MJX 开源库和 Newton 提供给开发者。 

此次 GTC 主题演讲中和黄仁勋一起登台,以星球大为灵感,由Walt Disney设计的富有表现力的 BDX 机器人,就是使用Newton平台的成果。

“BDX 机器人只是一个开始,我们能够创造出比以往更具表现力、更具吸引力的新一代机器人角色,并以迪士尼独有的方式与我们的游客建立联系。而与 Disney Research、NVIDIA 和 Google DeepMind 的合作是实现这一愿景的关键,”Walt Disney 想象工程研发部门高级副总裁 Kyle Laughlin 说。 “”

NVIDIA 还将和 Disney Research 及 Intrinsic 进一步合作,为机器人数据流构建 OpenUSD 管线和最佳实践。