北京智源人工智能研究院(BAAI)正式发布了名为Orca的世界基础模型,其核心理念与当前主流AI路径形成鲜明对比。Orca不预测下一个文本令牌、下一帧视频画面或下一步机器人动作,而是学习在抽象内部表征中预测世界的下一状态。研究团队认为,真正的智能不应由语言模型、视频生成器或机器人控制器这类专用预测模型来定义,而应构建对世界变化规律的通用理解,并以此为基础支撑多样化任务。

Orca的训练策略融合了两种互补的学习模式。在“无意识学习”阶段,模型接触的是没有任何文字标注的原始视频——它观察当前画面,并在抽象空间而非像素层面预测下一画面,从而自主捕捉运动模式、遮挡关系与典型场景动态。随后进入“有意识学习”阶段,视频被切分为片段,每个片段配有描述状态变化的文字说明,使模型理解特定动作如何引发状态转移。此外,模型还通过经典视频问答任务进行训练,以保持对自然语言查询的响应能力。

在架构设计上,Orca以预训练语言-图像模型Qwen3.5为基础,训练完成后核心部分保持冻结。针对不同输出类型,研究人员附加了独立的小型模块:文本输出沿用Qwen3.5原有的语言头,图像生成通过小型适配器层连接至Stable Diffusion 3.5,机器人动作则由从零开始训练的“动作专家”控制模块负责。这种设计刻意不追求单一基准上的最高分,而是验证一个训练良好的内部世界状态能否成为多种任务的共享基础。

训练数据方面,团队汇集了16万小时视频素材、1.6亿条事件描述以及1150万个问答对。视频涵盖四种视角:日常交互的第一人称视角、物体操作的第三人称视角、无动作数据的机器人录制以及自然场景。值得注意的是,当前版本仅使用了视频数据总量的十分之一

在基准测试中,Orca的40亿参数版本在MVBench、TemporalBench、3DSRBench和SWITCH四项文本基准上取得51.8% 的平均分,在参数量相近的小型视觉语言模型中位居前列,并超越了参数量更大的世界模型Emu3(80亿参数)和Emu3.5(340亿参数)。在图像预测方面,研究团队自建了名为PRICE-V0.1的基准,要求模型根据“关上微波炉”等指令生成结果图像。Orca-4B以59.8% 的平均得分超越了FLUX.2 small(56.1%)、FLUX.1-context(40.9%)和OmniGen2(39.6%)等专用图像生成模型。与纯图像模型相比,Orca在保持机器人形态、物体接触点以及与指令的关联性方面表现更为连贯,较少出现无关物体或幻觉手部等问题。

最引人关注的是机器人控制实验。在包括整理书籍、叠放碗具、舀取砂糖在内的五项双臂轮式人形机器人操作任务中,Orca的性能与专门基于机器人数据构建的系统π0.5旗鼓相当。关键在于,Orca的基础模型在预训练期间从未接触过任何动作标签——它不知道哪类图像对应哪种运动。实际的机器人控制能力来自后期单独训练的模块,该模块仅使用每项任务200次真实世界录制数据,将摄像头图像与执行动作进行配对。在演示中,Orca在经历数次抓取失败后能够重试并最终完成任务,展现出一定的容错与调整能力。

这一成果对机器人产业具有深远意义。当前具身智能发展的一大瓶颈在于高质量动作标注数据的极度稀缺,采集成本高昂且难以规模化。Orca的路径表明,通过海量无标注视频预训练获得对物理世界的通用理解,再以极少量特定任务数据微调,或许是一条可行的技术路线。它并非要取代专用系统,而是提供了一种可复用的通用基座,有望大幅降低机器人学习新技能的数据门槛,加速具身智能从实验室走向真实场景的进程。