在最新公佈的ARC-AGI 3基準測試中,一個由菲爾茲獎得主參與的團隊Mostik,展示了一種讓手機端4B小模型與雲端753B大模型協作的方案,使小模型效能大幅提升。該方案中,大模型GLM-5.2(來自智譜)只進行預填充,不輸出任何文字,而手機端的Qwen-3.5(來自阿里,4B引數)負責解碼並寫出最終答案。據團隊披露,這種“橋”接方式讓4B模型彌補了與753B模型之間約50%的效能差距,自身準確率提高25%,在大小模型差距更明顯的難題子集上,提升達到2倍。

Mostik團隊的技術細節尚未公開,團隊拒絕在比賽結束前披露具體實現。團隊首席科學家、2010年菲爾茲獎得主Stanislav Smirnov指出,在兩個AI模型之間找到數學上的共同基礎非常困難,目前似乎還沒有合適的數學語言來描述模型表徵如何對應和遷移。Smirnov是日內瓦大學教授,因證明統計物理中“滲流模型”和“平面Ising模型”的共形不變性而獲獎。

這項工作的核心在於“橋”的概念:讓一個模型將內部隱藏狀態通過一個小型、經過訓練的橋直接傳遞給另一個模型,接收方直接使用這些內部狀態,整個過程不產生任何文本,兩個模型的權重完全凍結,橋是唯一被訓練的部分。傳統上,多個模型協作(如程式設計子智慧體、模型委員會、路由排程)都建立在將內部計算壓縮成文字再重新展開的基礎上,而Mostik的方法繞過了這一瓶頸。

背景上,大模型生成token時內部會構建超過一百個隱藏向量,包含約一百萬個數值,約兩兆位元組的內部狀態資訊。而目前所有多模型協作系統僅基於17個位元的文本資訊。ICLR 2026的一篇論文顯示,Qwen-3在寫出“accountant”之前幾個token就已攜帶該詞的表徵,模型越大,這種提前規劃能力越強。Anthropic的可解釋性團隊在Claude 3.5 Haiku上也觀察到類似現象,並發現“J-space”結構——模型維護一組未表達的概念。這些發現表明,模型內部狀態包含大量未輸出的推理資訊,而橋接技術正是利用這些資訊。

從算力角度看,大模型的解碼環節最昂貴,而預填充環節成本較低。Mostik讓大模型只做預填充,把解碼交給小模型,大幅降低算力開銷。團隊表示,要在不用橋的情況下達到同樣成績,需部署中等規模模型,而橋方案的計算成本僅為該中等模型的五分之二。優勢在“交接點極早”時最明顯,此時大模型尚未輸出文字,但隱藏狀態已包含處理問題的資訊。

Mostik團隊刻意凍結雙方模型權重進行嚴格測試,以證明橋利用的結構是模型訓練中自然產生的。團隊認為,未來未必由單一巨型模型包打天下,更可能是前沿模型與專業領域模型高效配對。此外,橋接技術可能改進知識蒸餾——傳統蒸餾中學生模型只看到教師模型的最終輸出,而橋能同步內部狀態,使監督更早進入生成過程,小模型學習效率更高,且可能保留通用能力。

團隊還提到安全監控的潛力:橋在兩個模型間增加了新的觀察面,可記錄傳送方隱藏狀態、轉換結果與接收方行為,可能補充鏈式思維的監控盲區。不過,橋能否跨越更多模型、任務和真實業務負載,能否成為可靠的可觀測性工具,仍需驗證。至少在ARC-AGI 3上,這座讓大模型“閉嘴思考”、小模型代為表達的橋,已展示出顯著效果。