前OpenAI首席科學家Ilya Sutskever創辦的AI公司SSI(Safe Superintelligence)的首個模型細節於近日曝光。據X平台網友“三隻草莓”爆料,SSI正在探索一種基於測試時訓練(TTT)的小型推理引擎,該模型會用專門整理的資料學習“如何學習”,並在解決問題過程中更新部分權重。爆料還稱,SSI當前版本已準備就緒,團隊正將下一代版本的規模直接擴充套件10倍。
這一技術路線與Ilya去年11月在播客中表達的觀點高度一致。Ilya曾表示,SSI要造的不是一台出廠時便無所不知的機器,而是一個能夠學會任何工作的心智。這意味著模型需要掌握的不只是某項技能,還有學習新技能的方法,帶有明顯的元學習色彩。
TTT(Test-Time Training)的核心在於打破傳統“訓練”與“推理”的界限,讓模型在真正解決問題時,利用眼前的資料繼續訓練自己,根據預測與目標的誤差調整內部狀態甚至直接更新引數。這與當前主流的長上下文擴充套件路線形成對比——後者通過不斷增大上下文視窗來容納更多資訊,而TTT則把上下文當作訓練資料,讓模型在讀取過程中將資訊壓入權重,從而真正改變模型本身。
值得注意的是,TTT與近期熱門的Agent Harness、Context Engineering有本質區別。後兩者依靠外部上下文搭建腳手架,讓模型看到更多資訊、呼叫更多工具,但模型本身並未改變;而TTT則讓模型在解決問題過程中直接改變自己。
然而,這一路線也面臨挑戰。2016年微軟聊天機器人Tay上線不到24小時即在網友誘導下輸出攻擊性內容,最終被緊急下線,這提醒人們:若AI系統在部署後持續學習,如何確保其安全可控?這恰恰繞回了SSI名字中“安全”(Safe)的含義。
Ilya是深度學習領域最具影響力的研究者之一,從AlexNet、Sequence-to-Sequence、AlphaGo到GPT系列均有他的貢獻。2024年5月離開OpenAI後,他創辦SSI,但此後兩年不發模型、不做產品、不公開論文,外界對其研究內容知之甚少。直到今年7月,輝達宣佈與SSI達成長期戰略合作並投資,向其提供下一代Vera Rubin系統,幫助SSI算力提升約10倍。據路透社報道,投資金額高達50億美元。
此次模型曝光,標誌著SSI首次對外展示其技術方向。若其基於TTT的持續學習路線成功,可能為AI產業提供一種超越預訓練範式的新路徑,對模型演進、算力需求乃至AI安全格局都將產生深遠影響。不過,目前該訊息仍為網友爆料,未經SSI官方證實,其實際進展與效果尚待觀察。