Robbyant團隊正式開源LingBot-Video,這是全球首個專為具身智慧設計的混合專家(MoE)影片生成模型。與通用影片模型不同,LingBot-Video從架構、資料到訓練目標全鏈路為機器人量身打造,核心任務是讓機器人大腦學會真實的物理規律,而非單純追求畫面美觀度。
模型總引數規模達30B,但藉助MoE架構,單次生成僅啟用約3B引數參與計算。在1M Token長度下,其推理速度對比Dense 6B、14B和30B模型分別達到1.50倍、2.59倍和3.18倍,同時保持接近3B規模模型的推理效率。這對機器人訓練至關重要——策略評估與動作規劃天然需要大量模擬試錯,若每次生成都啟用全部引數,成本將高到難以落地。
訓練資料方面,團隊引入了超過7萬小時的具身導向影片素材,覆蓋機器人操作、導航、第一人稱視角,以及真實機器人、模擬、開源、第三人稱視角等多平台資料。這些資料並非簡單堆砌,而是在訓練流程的專門階段進行“少篩選、多保留”處理,防止被海量普通網際網路影片稀釋。所有素材經過五維結構化標註,精準標記物體、材質、動作時間戳與受力互動關係,並採用課程式五階段漸進訓練,從低清靜態影像逐步過渡到高畫質長時序影片,循序漸進掌握複雜物理互動邏輯。
針對機械操作、精密抓取等長尾場景,團隊還通過分佈感知取樣做加權強化,補齊小眾工業與家用機器人場景的生成能力。訓練採用GRPO組相對策略最佳化方案,從感知、物理、執行三個維度同步約束生成結果,並原生支援Action-to-Video動作條件生成——輸入機器人動作指令,即可直接輸出後續完整視覺變化,直接對接機器人運動規劃模組。此外,模型配套級聯精煉方案,先生成480p基礎時序畫面保證運動邏輯,再精煉至1080p高畫質畫質,平衡推理速度與畫面細節。
在評測中,LingBot-Video與NVIDIA Cosmos3、LongCat-Video、LTX-2.3等開源模型對比。結果顯示,在文本到影像影片任務上,LingBot-Video在開源競品中達到SOTA水平,並在通用質量與具身領域兩項得分中位居第一;在文本到影片任務上,雖然通用質量排名第二,但具身領域得分仍超過Cosmos等競爭基線。此外,該模型已在RBench上超越業內通用影片生成標杆模型。
從產業視角看,LingBot-Video的開源傳遞出一個清晰訊號:影片模型的終點正在成為機器人大腦的起點。機器人真實資料採集成本高、速度慢,模擬資料又面臨sim-to-real gap問題。而LingBot-Video定位為面向機器人社群的資料引擎、策略評估器與動作規劃器,試圖通過生成足夠可信的動作過程與場景變化,為機器人訓練提供低成本資料,並在虛擬環境中預跑策略以降低真實測試風險。
當前,李飛飛創辦的World Labs押注空間智慧,LeCun團隊的V-JEPA 2從影片自監督學習切入探索物理世界預測,具身智慧已成為下一階段兵家必爭之地。LingBot-Video至少證明,影片模型正從內容生產工具向物理世界模擬器實質性推進,儘管長時序一致性、柔性物體與液體等複雜物理互動、影片預測向真實機器人閉環的轉化等挑戰仍在演進中。