輝達於 9 月 9 日公開了 Nemotron 3 Ultra 在 2026 年國際數學奧林匹克(IMO)中使用的整套數學推理系統。該系統最終獲得 30/42 分,超過當屆 29 分的金牌線。整個比賽過程中,模型僅用自然語言書寫證明,沒有呼叫 Lean 等形式化證明器,也沒有藉助外部工具或聯網檢索。

與成績一同釋出的,是支撐這 30 分的完整技術鏈路:兩個數學專家 checkpoint、SFT 與 RL 訓練資料、推理程式碼、訓練配方、比賽提交證明,以及 200 道新的 Nemotron-IMO-Bench。換言之,輝達公開的不是一個更強的數學模型,而是一套從訓練到比賽推理的系統。Nemotron 3 Ultra 只是底座,兩個專家模型、大規模證明搜尋、模型驗證與多輪改寫共同構成了把成績推到金牌線的完整鏈路。

這一開源動作發生在特殊的時間節點。兩天後的 9 月 11 日,陶哲軒、Peter Scholze、Maryna Viazovska 等 25 位菲爾茲獎得主聯合發聲,批評 AI 數學成果釋出越來越快,而證明檢查、方法梳理和復現往往沒有足夠時間展開。在這樣的背景下,輝達把一個 IMO 金牌級結果背後的模型、資料、推理流程和計算成本都留了下來,在學術圈較為少見。

系統的技術起點,是輝達沒有對同一個 Nemotron 3 Ultra 反覆取樣,而是先訓練了兩個行為明顯不同的數學專家。SFT 資料中除了完整證明,還加入了大量證明修改、驗證和再次驗證的軌跡,使模型不僅學會從題目生成證明,還能在拿到一份寫了一半甚至區域性有誤的證明後,判斷問題所在並沿原路線繼續修補。RL 專家則處理另一層問題:改變證明路線被抽中的機率。IMO 級題目的證明空間非常稀疏,正確組合只佔生成分佈中很小的一部分,強化學習根據成功與失敗軌跡重新調整生成分佈,讓能完整閉合的思路獲得更高權重。

通用版、SFT 和 RL 三份 checkpoint 由此形成三種不同的解題偏好。如果同一個模型連續生成 200 份證明,其中大部分圍繞同幾種構造打轉,那麼 200 份文本並不等於 200 條獨立路線。加入經過不同後訓練的 checkpoint,相當於主動改變取樣分佈,讓計算資源進入另一片證明空間。輝達的實驗顯示,繼續增加同一個 RL 模型的取樣,收益很快放緩;把 SFT 專家加入後,即使生成預算接近,能夠覆蓋的問題明顯增加。

在首輪生成中,系統會為每道題生成 384 份證明,但這些答案本身並非核心。系統把這些證明放進一個持續更新的搜尋池,每份證明經過驗證後分為直接通過、方向可用但需修補、路線價值較低三類。評分較高的證明被留下,驗證器指出的問題被送回模型繼續修改。這種 proof pool 保留了歷史計算,一條路線走到什麼位置、哪裡出了問題、哪些部分仍可用,都會成為下一輪搜尋的輸入。多輪改寫因此不是反覆潤色同一篇答案,而是每輪重新產生多個候選,再次進入全域性證明池競爭。

驗證環節的設計同樣關鍵。輝達把接受門檻設得很高:兩個專家反覆檢查同一份證明,只有所有判斷全部通過,候選才會被接受。這一設計以較高的誤拒率換取更低的錯誤接受率。但實驗暴露出更深層的困難:SFT、RL 和通用版雖然經過不同後訓練,卻共享同一個 Nemotron 3 Ultra 底座,擁有大量相似的知識結構、概念表示和推理習慣。當錯誤來自隨機疏忽時,多次檢查可以降低風險;當錯誤來自幾個模型共同擁有的理解盲區時,增加檢查次數的效果就會明顯減弱。論文中一份列置換對稱性的錯誤證明就是典型例子:證明本身存在可明確構造的反例,但三個 checkpoint 反覆判斷,沒有一個識別出關鍵漏洞。

第 6 題的情況則從另一邊說明問題。系統繼續投入大量計算後得到一份新證明,內部驗證沒有放行,但人工複核認為其中包含相當部分正確內容,可以拿到部分分數。這意味著 verifier 同時存在兩類偏差:錯誤證明可能因共享盲區被高置信度放過,有價值證明又可能因門檻過於保守被壓下去。因此,這條路線後面面對的並不只是訓練一個更強的數學裁判,而是怎樣讓不同驗證元件擁有儘量不同的錯誤來源。

從開源的實際效果看,兩個專家 checkpoint、SFT 與 RL 資料、推理程式碼、RL recipe、提交證明和 200 道 Nemotron-IMO-Bench 放出後,30/42 可以被還原成一組具體的系統變數。外部團隊可以改變 checkpoint 組合、sampling budget、verifier threshold 和 refinement 深度,再看成績如何變化。但這與完整重跑 30 分仍是兩回事:550B 級模型TB 級視訊記憶體以及數千個 GB200 GPU 小時依然構成很高的硬體門檻;Nemotron 3 Ultra 通用版自身的完整後訓練鏈也沒有做到逐階段復刻,輝達官方文件明確寫明,部分中間 teacher 和 MOPD checkpoint 尚未開放。

有分析將這套打法形容為 AI 時代的「推恩令」:通過開源讓全球實驗室分享 IMO 金牌的紅利,卻也讓參與者進入由輝達硬體定義的搜尋推理範式。程式碼平權已經實現,但算力主權仍集中在少數巨頭手中。對基礎研究而言,這套系統傳遞的訊號是:算力可以完成最髒最累的體力活,但關於真理的最終裁決、關於驗證邏輯的一致性,仍需仰仗人類的直覺。