英伟达公布新一代机器人基础模型 GR00T 2,核心思路是让机器人通过观看人类操作视频来学习新任务,从而绕开传统训练中昂贵且缓慢的遥操作环节。研究团队用超过 1000 块 GB300 芯片的集群训练该模型,训练数据包含约 40 万小时佩戴头戴摄像头的人类操作视频。
传统上,工程师需要花数小时远程操控机器人来采集训练数据,这种方式成本高、速度慢,且每换一种机器人型号往往要重新采集。GR00T 2 与上一代 GR00T 1 的关键区别在于,它不再把摄像头图像和语言指令直接翻译成电机动作,而是被英伟达称为世界-动作模型(WAM):模型在计算下一步动作的同时,还会通过扩散方法预测未来一小段视频画面,例如机械臂抓起物体后摄像头图像应如何变化。这种视频预测能力让动作序列可以在不同机器人形态之间迁移。
在实际教学中,研究人员表示,人只需戴上数据手套、专用手部夹具或手指外骨骼演示一遍步骤,再结合目标机器人的通用运动数据,模型就能在视频预测中把人的手臂替换成机械臂,并推导出对应的控制指令。实验室测试中,一台带五指手的机器人借此完成了点火柴、切香蕉、把包裹抛上传送带等任务,且这些任务均未经过专门的遥操作训练。不过成功率因任务难度差异很大,落在 10% 到 80% 区间。
模型还展现出从少量样本中快速学习的潜力。在 50 个模型已有较好基础的任务上,不到 3 分钟的常规训练就把成功率从 40% 提升到 95%。此外,仅凭一段人手动作视频,系统就在计算机模拟中学会了钉钉子。
对于更长的装配任务,英伟达将 GR00T 2 与更高层的语言模型配合使用,例如 OpenAI 的 GPT-6 Astra。GR00T 2 负责抓取动作,语言模型则把任务拆成步骤、在摄像头图像中给抓取点标色,并在零件掉落时启动辅助程序。在桌面上散乱摆放玩具零件的测试中,这套组合系统在至少 97% 的试验中完成组装;而缺少纠正性语言模型和额外微调时,玩具车组装在 100 次尝试中仅成功 23 次。
针对双足机器人,英伟达还开发了精简版 GR00T 2 Turbo,它处理的图像细节更少,可直接运行在人形机器人的 Jetson Thor 车载计算机上。测试中,该机器人能舀爆米花、清理桌面、用脚下的毛巾擦拭液体,但最后一项任务的成功率略低于一半。
研究团队也指出了系统投入可靠实际应用前的主要障碍。模型目前尚不能直接处理触觉传感器数据,有时会漏掉螺丝只拧了一半这类细微错误。高层语言模型还会显著拖慢速度:在垃圾分类任务中,机器人约有三分之一的时间处于闲置,因为平均要等待超过 7 秒才能得到规划模型的下一次计算结果。
从产业视角看,GR00T 2 代表了一条与遥操作并行的机器人训练路线——用海量人类视频和生成式预测来降低数据采集成本。若该路线成熟,机器人基础模型的价值可能进一步向拥有数据与算力的一方集中,而数据手套、动作捕捉、仿真环境以及机器人本体厂商的角色分工也将随之调整。但当前成功率波动大、触觉缺失和规划延迟等问题表明,距离稳定可靠的通用机器人操作仍有明显距离。