2026年7月13日于悉尼开幕的RSS 2026机器人顶会上,如何突破数据瓶颈成为具身智能研究的核心议题。来自南加州大学PSI Lab的研究团队展示了开放基础模型Ψ₀,给出了一条不同于单纯扩大数据规模的路径:通过重新设计人类数据与机器人数据的关系,仅用约30小时真机遥操作数据就实现了显著的性能跃升。

Ψ₀的核心设计在于一套三阶段训练流程。第一阶段,模型利用约829小时来自EgoDex数据集的第一视角人类视频进行预训练。这些视频由Apple Vision Pro采集,能提供精确的三维手部追踪信息,其观察视角与机器人头部摄像头高度一致。团队认为,这一阶段模型学到的并非具体的人类动作轨迹,而是更底层的任务语义理解视觉表征能力,后者对于后续迁移至机器人场景尤为关键。

第二阶段,模型冻结预训练获得的视觉语言骨干网络,转而训练一个专门的Action Head模块,将高层视觉语言特征映射为机器人关节控制信号。这种设计刻意避免了让模型直接学习人类手部动作,因为人类手部拥有数十个自由度,与机器人关节空间存在本质差异。消融实验显示,未经EgoDex预训练的模型成功率仅约20%,加入预训练后大幅提升。

第三阶段,利用少量专属任务遥操作数据进行微调,使模型快速适配全新的长时序灵巧移动操作任务。论文在8项真实场景评测任务中验证了效果,每项任务包含3至5个子技能,全部任务在30Hz采样下超过2000步,属于典型的长程任务。结果显示,Ψ₀相比公开基线取得了超过40%的成功率提升

在工程实现层面,Ψ₀还解决了多个现实挑战。针对视觉、语言与动作信息融合问题,团队引入了借鉴Stable Diffusion 3MM-DiT双流架构,让视觉语言特征和动作特征分别经独立网络处理后通过联合注意力机制融合,消融实验表明其表现稳定优于传统DiT。为应对大模型推理延迟可能导致人形机器人失衡,团队设计了Real-Time Chunking策略,在训练阶段模拟延迟并随机遮挡当前动作序列前段,迫使模型学会在动作未完全执行完时提前生成下一段动作,实现自然衔接。在整体控制架构上,Ψ₀并未试图让视觉语言动作模型接管一切,而是采用分层控制:高层移动与操作决策由VLA负责,底层平衡与步态则交给独立的强化学习控制器。

论文共同第一作者、南加州大学博士生魏松林在接受采访时指出,该研究策略是基于当时公开高质量真机数据仅约30小时的现实条件设计的,并非人为设定数据比例。他强调,人类动作与机器人动作是“两种不同的语言”,直接混合训练效率低下,且大量人类数据容易淹没稀缺的机器人动作分布。对于当前具身智能领域关于世界模型与VLA路线的争论,魏松林认为,目前尚不能简单下结论说世界模型优于VLA,因为许多世界模型建立在规模更大的视频生成模型之上,性能优势可能源于基础模型本身的体量差异,而非路线本身。他同时表示,自己是坚定的大模型路线支持者,认为大模型有机会统一传统模块化管线,在多个任务上实现高成功率,从而真正释放机器人的商业价值。

Ψ₀的研究结论“以正确的方式扩展正确的数据”并非否定数据规模的重要性,而是在数据仍然昂贵稀缺的当下,将关注重点从一味扩大数据量转向更高效地利用现有数据。这一思路对于整个具身智能产业在算力、数据采集成本与模型能力之间寻找平衡点,具有直接的启示意义。