Robbyant團隊正式開源LingBot-Video,這是全球首個專為具身智能設計的混合專家(MoE)視頻生成模型。與通用視頻模型不同,LingBot-Video從架構、數據到訓練目標全鏈路為機器人量身打造,核心任務是讓機器人大腦學會真實的物理規律,而非單純追求畫面美觀度。
模型總參數規模達30B,但藉助MoE架構,單次生成僅激活約3B參數參與計算。在1M Token長度下,其推理速度對比Dense 6B、14B和30B模型分別達到1.50倍、2.59倍和3.18倍,同時保持接近3B規模模型的推理效率。這對機器人訓練至關重要——策略評估與動作規劃天然需要大量模擬試錯,若每次生成都激活全部參數,成本將高到難以落地。
訓練數據方面,團隊引入了超過7萬小時的具身導向視頻素材,覆蓋機器人操作、導航、第一人稱視角,以及真實機器人、仿真、開源、第三人稱視角等多平臺數據。這些數據並非簡單堆砌,而是在訓練流程的專門階段進行“少篩選、多保留”處理,防止被海量普通互聯網視頻稀釋。所有素材經過五維結構化標註,精準標記物體、材質、動作時間戳與受力交互關係,並採用課程式五階段漸進訓練,從低清靜態圖像逐步過渡到高清長時序視頻,循序漸進掌握複雜物理交互邏輯。
針對機械操作、精密抓取等長尾場景,團隊還通過分佈感知採樣做加權強化,補齊小眾工業與家用機器人場景的生成能力。訓練採用GRPO組相對策略優化方案,從感知、物理、執行三個維度同步約束生成結果,並原生支持Action-to-Video動作條件生成——輸入機器人動作指令,即可直接輸出後續完整視覺變化,直接對接機器人運動規劃模塊。此外,模型配套級聯精煉方案,先生成480p基礎時序畫面保證運動邏輯,再精煉至1080p高清畫質,平衡推理速度與畫面細節。
在評測中,LingBot-Video與NVIDIA Cosmos3、LongCat-Video、LTX-2.3等開源模型對比。結果顯示,在文本到圖像視頻任務上,LingBot-Video在開源競品中達到SOTA水平,並在通用質量與具身領域兩項得分中位居第一;在文本到視頻任務上,雖然通用質量排名第二,但具身領域得分仍超過Cosmos等競爭基線。此外,該模型已在RBench上超越業內通用視頻生成標杆模型。
從產業視角看,LingBot-Video的開源傳遞出一個清晰信號:視頻模型的終點正在成為機器人大腦的起點。機器人真實數據採集成本高、速度慢,仿真數據又面臨sim-to-real gap問題。而LingBot-Video定位為面向機器人社區的數據引擎、策略評估器與動作規劃器,試圖通過生成足夠可信的動作過程與場景變化,為機器人訓練提供低成本數據,並在虛擬環境中預跑策略以降低真實測試風險。
當前,李飛飛創辦的World Labs押注空間智能,LeCun團隊的V-JEPA 2從視頻自監督學習切入探索物理世界預測,具身智能已成為下一階段兵家必爭之地。LingBot-Video至少證明,視頻模型正從內容生產工具向物理世界模擬器實質性推進,儘管長時序一致性、柔性物體與液體等複雜物理交互、視頻預測向真實機器人閉環的轉化等挑戰仍在演進中。