在2026年7月13日於悉尼開幕的RSS 2026機器人頂會上,如何突破數據瓶頸成為具身智能研究的核心議題。來自南加州大學PSI Lab的研究團隊展示了開放基礎模型Ψ₀,給出了一條不同於單純擴大數據規模的路徑:通過重新設計人類數據與機器人數據的關係,僅用約30小時真機遙操作數據就實現了顯著的性能躍升。
Ψ₀的核心設計在於一套三階段訓練流程。第一階段,模型利用約829小時來自EgoDex數據集的第一視角人類視頻進行預訓練。這些視頻由Apple Vision Pro採集,能提供精確的三維手部追蹤信息,其觀察視角與機器人頭部攝像頭高度一致。團隊認為,這一階段模型學到的並非具體的人類動作軌跡,而是更底層的任務語義理解和視覺表徵能力,後者對於後續遷移至機器人場景尤為關鍵。
第二階段,模型凍結預訓練獲得的視覺語言骨幹網絡,轉而訓練一個專門的Action Head模塊,將高層視覺語言特徵映射為機器人關節控制信號。這種設計刻意避免了讓模型直接學習人類手部動作,因為人類手部擁有數十個自由度,與機器人關節空間存在本質差異。消融實驗顯示,未經EgoDex預訓練的模型成功率僅約20%,加入預訓練後大幅提升。
第三階段,利用少量專屬任務遙操作數據進行微調,使模型快速適配全新的長時序靈巧移動操作任務。論文在8項真實場景評測任務中驗證了效果,每項任務包含3至5個子技能,全部任務在30Hz採樣下超過2000步,屬於典型的長程任務。結果顯示,Ψ₀相比公開基線取得了超過40%的成功率提升。
在工程實現層面,Ψ₀還解決了多個現實挑戰。針對視覺、語言與動作信息融合問題,團隊引入了借鑑Stable Diffusion 3的MM-DiT雙流架構,讓視覺語言特徵和動作特徵分別經獨立網絡處理後通過聯合注意力機制融合,消融實驗表明其表現穩定優於傳統DiT。為應對大模型推理延遲可能導致人形機器人失衡,團隊設計了Real-Time Chunking策略,在訓練階段模擬延遲並隨機遮擋當前動作序列前段,迫使模型學會在動作未完全執行完時提前生成下一段動作,實現自然銜接。在整體控制架構上,Ψ₀並未試圖讓視覺語言動作模型接管一切,而是採用分層控制:高層移動與操作決策由VLA負責,底層平衡與步態則交給獨立的強化學習控制器。
論文共同第一作者、南加州大學博士生魏松林在接受採訪時指出,該研究策略是基於當時公開高質量真機數據僅約30小時的現實條件設計的,並非人為設定數據比例。他強調,人類動作與機器人動作是“兩種不同的語言”,直接混合訓練效率低下,且大量人類數據容易淹沒稀缺的機器人動作分佈。對於當前具身智能領域關於世界模型與VLA路線的爭論,魏松林認為,目前尚不能簡單下結論說世界模型優於VLA,因為許多世界模型建立在規模更大的視頻生成模型之上,性能優勢可能源於基礎模型本身的體量差異,而非路線本身。他同時表示,自己是堅定的大模型路線支持者,認為大模型有機會統一傳統模塊化管線,在多個任務上實現高成功率,從而真正釋放機器人的商業價值。
Ψ₀的研究結論“以正確的方式擴展正確的數據”並非否定數據規模的重要性,而是在數據仍然昂貴稀缺的當下,將關注重點從一味擴大數據量轉向更高效地利用現有數據。這一思路對於整個具身智能產業在算力、數據採集成本與模型能力之間尋找平衡點,具有直接的啟示意義。