11月9日,英伟达在奥斯汀机器人学习大会CoRL上发布GR00T 2。在公布的一组测试中,双手机器人面对50项未提供目标机器人示范的任务,仅凭预训练能力平均成功率达到40%;每项任务补充五次示范并微调后,成功率提高到95%。这些任务此前出现在人类视频或其他机器人的数据中,如今开始能够迁移到一副新的身体上。
GR00T 2延续了今年2月DreamZero探索的世界动作模型(WAM)路线:让模型同时预测未来画面和机器人动作,把“世界接下来会怎样变化”纳入动作学习。到了这次发布,英伟达进一步把人类视频、手持采集设备和多种机器人数据放进同一套训练流程,并通过少量示范和强化学习,继续提高具体操作的精度与可靠性。
在机器人系统里,分工也更加清楚。上层推理智能体负责任务拆解、进度检查和异常处理,通过接口调用GR00T 2;后者负责需要持续视觉反馈和精细控制的物理操作。模型能学会多少技能、适应新任务需要多少数据,以及失败后怎样恢复,都成了这次发布需要回答的问题。
这让WAM的讨论有了更多现实参照。DreamZero第一作者Seonghyeon Ye当初看重的是视频模型能否给机器人带来没有专门示范过的动作能力。八个多月后,沿这条路线发展的模型开始处理更复杂的任务,研究者也必须进一步决定:预测未来的哪些部分最有用,哪些计算可以省掉,哪些经验还得从真实操作中补回来。
这些问题也出现在本届CoRL的议程上。11月12日举行的“机器人需要世界模型吗?”工作坊,将讨论显式预测与端到端策略的边界:未来变化是否需要被单独预测出来,还是可以通过训练进入策略内部;现有评测又能否区分两者在泛化、效率和失败恢复上的价值。另一场由Ye参与组织的Scaling H2R,则追问人类数据怎样扩大才有效——收益来自更多小时、更多样的任务,还是与目标机器人更匹配的操作经验。
Ye同时处在这两组问题之中。他是DreamZero的第一作者和项目负责人之一,也是近期DreamFree的共同作者。DreamFree的思路是将未来知识蒸馏到模型表征里,在执行时省去未来视频生成的步骤。他相信世界建模的重要性,也在研究这种能力能否以另一种形式被保留下来。
接受42号电波采访时,Ye先说明,DreamZero是自己在英伟达的实习项目,实习结束后他已经离开,没有参与GR00T 2,也不了解公司的高层规划。他认可这次发布的进展,尤其关心如何在精细操作里保住泛化能力。但对于怎样继续发展WAM,他并不认为已经有了一套确定的答案。
最适合操作的基座,未必是今天追求画面效果的视频生成模型;人体数据值得扩大,但接触和力的信息仍需要研究;模型能完成新任务之后,还要找到让它稳定完成的方法。Ye表示,机器人领域的学习配方、最优架构和数据采集都还没有收敛。
视频模型能带来多少没教过的动作
Ye解释自己为什么转向世界模型时,举了黑猩猩的例子:它们不懂人类语言,却能够操作物体,也能预判接下来会发生什么。这让他怀疑,以视觉语言模型为起点、再教模型输出动作,是否就是机器人操作最合适的学习方式。
许多视觉语言动作模型(VLA)从视觉语言模型继承识别物体、理解指令和语义关系的能力。这样的知识有助于机器人知道要操作哪个对象,但一种此前没练过的动作,还需要关于运动和物体变化的经验。Ye希望模型在学习控制时,就把这些变化一并学进去。
这个想法早于DreamZero。他参与的LAPA从视频前后帧的变化中学习“潜在动作”,再用带动作标签的机器人数据接到实际控制上。对Ye来说,它的重要性在于,模型可以借助预测世界变化的目标,从没有机器人动作标注的视频里学习。那时他就确信,未来预测应该在机器人策略中占据更重要的位置。
视频生成模型提供了一种更直接的起点。这类模型在大规模视频中学习物体和场景如何变化,已经积累了一部分可以迁移的经验。与其从头为机器人建立这种能力,团队开始尝试调用现成的预训练模型。
最初,这种能力被用来生成训练材料。2025年的DreamGen将视频模型适配到机器人领域,生成新的行为与场景,再从视频中提取动作信息,扩充策略训练数据。Ye回忆,他们在这一阶段看到了视频模型的泛化能力,于是提出下一步:既然它已经能生成机器人执行新任务的过程,能不能直接把它变成策略?
2月17日发布的DreamZero沿着这个问题向前走了一步。团队以一个140亿参数的视频模型为基础,让视频生成与动作学习进入同一个模型,训练时既要预测场景的变化,也要预测与之对应的控制动作。未来预测本身参与了策略的学习与执行。
如果有机会重做DreamZero,Ye仍会作出同样的选择,因为那是到达目标最快的路径。从模型训练到真实机器人评测,团队已经做过大量迭代,他不认为当初应该换一条路。
这项研究面对的一个实际问题,是机器人数据该怎样采。在有限的采集时间里,同一个任务重复许多次,还是让机器人尽量接触不同的物品、环境和操作,得到的是两种很不一样的数据。前者更容易把某个动作练准,后者才有机会覆盖训练任务以外的变化。
Ye说,DreamZero团队在微调时花了很多心思增加多样性。他们希望保住视频基座已有的能力,让模型接触更多变化。虽然重复数据对精度可能有效,但会损失一部分泛化。在他的经验里,追求新任务能力,需要从采集阶段就作出选择,不能等模型训练完,再要求它自行补出缺少的经验。
DreamZero在AgiBot上的一组测试说明了团队希望得到的收益。在包括解鞋带、握手等动作的十项未见任务中,它的平均任务进度为39.5%,对照的预训练VLA为16.3%。论文还记录到,一些VLA面对不同指令,仍倾向于伸向物体、尝试抓取,沿用训练中常见的动作。这里比较的是任务完成到哪一步,并非完整任务的成功率。
这组结果也保留了DreamZero当时的位置:它展示出对新动作更好的尝试能力,同时仍有大量没有完成的任务。对一个追求通用性的模型来说,能从旧经验中迁移出新动作,是值得继续投入的起点;接下来还要查清,失败究竟发生在哪里。
当被问及如果模型预测一个杯子能被拿起来、配套动作却没有做到,该把问题归到未来预测、动作生成还是两者之间的连接时,Ye给出的观察有些出乎提问的预设。团队做了大量rollout,也就是让模型在机器人上实际执行任务,发现视频与动作之间的对齐相当好,联合学习这种对应关系也没有想象中困难。但视频预测失败时,动作往往也失败;几乎没有看到动作成功、视频预测却失败的情况。
Ye据此判断,DreamZero的主要瓶颈在未来预测,改进能够预测物理变化的基座模型,应该能进一步改善策略。这是团队在这套系统里的实验观察,也解释了他为什么至今仍看好世界建模:模型对未来的理解,已经与真实执行的结果联系在一起。
未来要学进去,画面未必每次都要生成
今年3月20日,Ye曾在RoboPapers节目中介绍DreamZero。那次讨论围绕一个新鲜的问题展开:一个140亿参数的视频模型,怎样获得真实机器人的泛化能力。在这次采访里,我们重新提起那次对话,问他几个月后还有哪些判断不变、哪些已经改变。
Ye坦言,他已经不完全记得当时回答的上下文。但有一点仍然明确:他仍然认为世界建模很重要,不过它不一定就是原始的像素生成。
DreamZero借用了现成视频模型的预训练能力,也接下了视频生成的工作量。它要处理未来画面中的物体、位置、运动和大量视觉细节。对于视频产品来说,画面真实、自然、好看都是目标;对于控制机器人来说,最需要的是正确理解物理变化。两者有重合,却未必需要同样的训练目标和计算分配。
让视频生成跟上机器人动作,本身就是一项繁重的工作。DreamZero论文记录,团队通过系统、实现和模型层面的优化,将GB200配置下的推理延迟从约5.7秒降到约150毫秒,才使这个大模型能够以约7 Hz进行闭环控制。Ye所说从训练到评测的反复迭代,也包括把一个视频模型真正放进机器人的控制循环。
Ye认为,做操作并不需要那么好看、那么逼真的视频,真正需要的是正确理解世界,比如物理这类东西。长期看,最优的基座可能应该专门面向机器人操作,而不只是从一个追求画面效果的视频生成模型出发,再微调到机器人上。
这不等于否定他此前的选择。现成的视频模型让团队很快获得了可以使用的先验,DreamZero又证明这种先验能够转化为动作能力。现在更值得研究的是,这些知识以什么形式留在模型里,才能最有效地服务于控制。
3月公开的Fast-WAM已经把问题拆开做过一次实验。它在训练中保留视频与动作的联合学习,推理时跳过未来视频生成;研究者发现,省去推理时的视频生成后,模型仍有竞争力,而去掉训练阶段的视频学习,性能下降更明显。这使得一种可能性变得值得认真对待:未来预测的重要收益,可能在训练中就已经进入了模型表征。
Ye参与的DreamFree进一步沿着表征去做。这里的表征,可以理解为模型从观测中提取、供后续判断和控制使用的内部信息。训练时,一个冻结的视频教师模型能够看到当前和未来的画面;另一个编码器学习,仅凭当前观测,也提取出接近教师、包含未来信息的表征。随后,动作模块再从这些表征中学习控制。
这种训练利用了未来,但部署时不再要求模型把未来逐帧生成出来。DreamFree在项目报告的配置下,用单张H200运行140亿参数的视频基座,达到约11 Hz的推理速度。它试图保留的是预测未来带来的知识,并减少每次行动前为生成视频付出的时间。
Ye用“表征对齐”概括DreamZero与DreamFree之间的联系。DreamZero对下一状态做显式监督,让模型学习世界接下来应该是什么样;DreamFree则通过蒸馏,把相关知识压进模型内部。两项工作采用不同的方式,要求用于操作的内部信息与未来变化建立联系。
Ye表示,大家会争论测试时模型该不该生成未来状态,但他觉得更重要的是,在训练阶段的某处,表征必须被对齐到能够建模未来。
按照这个判断,评估一个新架构时,是否输出了视频已经不足以说明它的能力。一个直接输出动作的模型,也可能在训练中学到了未来;一个能生成完整视频的模型,则仍要证明这些计算确实帮助了操作。研究重点因此落到了更细的地方:哪些未来信息应该保留,怎样训练它们,以及动作模块能否有效地使用它们。
最新的GR00T 2则给出了另一种取舍。为了降低计算量,Turbo版本将预测的视频空间网格缩小到原来的四分之一,但在一组后训练的灵巧操作任务中,成功率从完整版本的68.6%降到34.3%。技术报告没有把损失简单归因于某一个因素,却提出一个值得继续研究的判断:需要保留多少视觉细节,可能取决于任务与机器人本体。哪些未来信息可以压缩,不能只由推理速度决定。
这也让WAM与VLA的边界变得不那么整齐。DreamFree的项目页用“WAM式训练,VLA式推理”描述自己的方法。训练目标、内部表征和部署形态,可以有不同的组合,模型名称本身无法替代这些区别。
Ye对WAM泛化更好、适应更快的判断仍然鲜明,但他没有把DreamZero的具体架构当成终点。恰恰是在做出了这套系统之后,他开始更具体地追问:最适合操作的基座,应该学习怎样的未来?
百万小时之后,还缺一层信息
另一个正在迅速扩大的答案,是人类数据。
当被问及DreamZero还有什么明显值得继续做时,Ye很快提到了UMI和人体数据。UMI是一种通用操作接口,采集者手持夹爪完成任务,将这段操作记录下来,供机器人学习。人体数据则允许研究者更广泛地记录人怎样在真实环境里工作,减少采集对机器人本身的依赖。
他回忆,DreamZero当时主要围绕遥操作采集的机器人数据训练。论文也做过加入少量人体视频的迁移验证,但把其他数据来源大规模纳入训练,是仍值得继续推进的方向。在他看来,GR00T 2已经沿着这个方向向前走了。
从公开数据看,这一步的规模变化相当明显。GR00T 2的预训练混合了约40.3万小时第一人称人体视频、约1万小时手持UMI示范,以及2.35万小时机器人遥操作数据。人类视频已经占据最大部分。英伟达报告,在72项下游任务的测试中,逐步增加人体视频,真实机器人的任务进度从50%提高到70%。
8月发布的Dyna-2把人体视频预训练规模从1,000小时逐级扩大到100万小时,再用一致的后训练方案进行真机验证。其报告中,14项任务的平均归一化成绩从20%提高到53%。测试既包括语言跟随,也包括打结、钥匙转动和瓶盖操作等任务;收益已经出现在真实操作中。
数据配比也没有停留在简单混合。GR00T 2的技术报告描述了三个训练阶段:先用人体和机器人视频学习交互过程,再联合学习多视角视频与动作,最后提高机器人数据的权重,进一步适应真实控制。人类经验负责扩大覆盖面,机器人示范帮助模型学会在具体身体上执行。但报告同时承认,不同数据来源之间还没有明确的投入回报关系:再增加一小时人体、UMI或遥操作数据,分别能换来多少能力,仍然不清楚。
这些结果为继续投入人体数据提供了依据。Ye也认可,扩大第一人称人体数据能够改善向机器人的迁移。但他对这种收益能覆盖多深的操作能力,仍有保留。
Ye特意作了限定,说这只是他的个人看法。在他看来,当前这类数据带来的收益,主要体现在语言跟随和高层视觉、语义理解上;真正到操作层面的运动,以及对新任务的泛化,仍有很多问题没有解决。
他的理由落在采集信号上:许多第一人称人体数据主要记录视觉,再加上位姿估计,却没有直接记录接触或力。视频保留了操作过程中的可见变化,机器人真正接触物体时所需的信息,却可能没有被完整地留下来。
GR00T 2也没有把这个问题完全解决。其DexUMI采集设备已经能够记录指尖的法向力和剪切力,但模型尚未把触觉作为输入;技术报告仍将如何引入力和触觉、如何保住已有视觉能力,以及采用什么控制频率列为开放问题。采到一种信号与让模型有效使用它,是需要分别解决的两件事。