Robbyant团队正式开源LingBot-Video,这是全球首个专为具身智能设计的混合专家(MoE)视频生成模型。与通用视频模型不同,LingBot-Video从架构、数据到训练目标全链路为机器人量身打造,核心任务是让机器人大脑学会真实的物理规律,而非单纯追求画面美观度。
模型总参数规模达30B,但借助MoE架构,单次生成仅激活约3B参数参与计算。在1M Token长度下,其推理速度对比Dense 6B、14B和30B模型分别达到1.50倍、2.59倍和3.18倍,同时保持接近3B规模模型的推理效率。这对机器人训练至关重要——策略评估与动作规划天然需要大量模拟试错,若每次生成都激活全部参数,成本将高到难以落地。
训练数据方面,团队引入了超过7万小时的具身导向视频素材,覆盖机器人操作、导航、第一人称视角,以及真实机器人、仿真、开源、第三人称视角等多平台数据。这些数据并非简单堆砌,而是在训练流程的专门阶段进行“少筛选、多保留”处理,防止被海量普通互联网视频稀释。所有素材经过五维结构化标注,精准标记物体、材质、动作时间戳与受力交互关系,并采用课程式五阶段渐进训练,从低清静态图像逐步过渡到高清长时序视频,循序渐进掌握复杂物理交互逻辑。
针对机械操作、精密抓取等长尾场景,团队还通过分布感知采样做加权强化,补齐小众工业与家用机器人场景的生成能力。训练采用GRPO组相对策略优化方案,从感知、物理、执行三个维度同步约束生成结果,并原生支持Action-to-Video动作条件生成——输入机器人动作指令,即可直接输出后续完整视觉变化,直接对接机器人运动规划模块。此外,模型配套级联精炼方案,先生成480p基础时序画面保证运动逻辑,再精炼至1080p高清画质,平衡推理速度与画面细节。
在评测中,LingBot-Video与NVIDIA Cosmos3、LongCat-Video、LTX-2.3等开源模型对比。结果显示,在文本到图像视频任务上,LingBot-Video在开源竞品中达到SOTA水平,并在通用质量与具身领域两项得分中位居第一;在文本到视频任务上,虽然通用质量排名第二,但具身领域得分仍超过Cosmos等竞争基线。此外,该模型已在RBench上超越业内通用视频生成标杆模型。
从产业视角看,LingBot-Video的开源传递出一个清晰信号:视频模型的终点正在成为机器人大脑的起点。机器人真实数据采集成本高、速度慢,仿真数据又面临sim-to-real gap问题。而LingBot-Video定位为面向机器人社区的数据引擎、策略评估器与动作规划器,试图通过生成足够可信的动作过程与场景变化,为机器人训练提供低成本数据,并在虚拟环境中预跑策略以降低真实测试风险。
当前,李飞飞创办的World Labs押注空间智能,LeCun团队的V-JEPA 2从视频自监督学习切入探索物理世界预测,具身智能已成为下一阶段兵家必争之地。LingBot-Video至少证明,视频模型正从内容生产工具向物理世界模拟器实质性推进,尽管长时序一致性、柔性物体与液体等复杂物理交互、视频预测向真实机器人闭环的转化等挑战仍在演进中。