輝達於 9 月 9 日公開了 Nemotron 3 Ultra 在 2026 年國際數學奧林匹克(IMO)上使用的整套數學推理系統。該系統最終獲得 30/42 分,超過當屆 29 分的金牌線。整個比賽過程中,模型僅以自然語言書寫證明,沒有呼叫 Lean 等形式化證明器,也沒有藉助外部工具或聯網檢索。
與成績一同釋出的,是支撐這 30 分的完整鏈路:兩個數學專家 checkpoint、SFT 與 RL 訓練資料、推理程式碼、訓練配方、比賽提交證明,以及 200 道新的 Nemotron-IMO-Bench。換言之,輝達公開的不是一個更強的數學模型,而是一套從訓練到比賽推理的系統。Nemotron 3 Ultra 是底座,兩個專家模型、大規模證明搜尋、模型驗證與多輪改寫共同把成績推到了金牌線。
這一發布有其背景。兩天後的 9 月 11 日,陶哲軒、Peter Scholze、Maryna Viazovska 等 25 位菲爾茲獎得主聯合發聲,批評 AI 數學成果釋出越來越快,而證明檢查、方法梳理和復現往往沒有足夠時間展開。在這樣的氛圍裡,輝達把模型、資料、推理流程和計算成本一併留下,顯得較為少見。
技術起點上,輝達沒有對同一個 Nemotron 3 Ultra 反覆取樣,而是先訓練了兩個行為明顯不同的數學專家。SFT 資料中除了完整證明,還加入了大量證明修改、驗證和再次驗證的軌跡,使模型不僅會從題目生成證明,還能在拿到一份寫了一半甚至區域性有誤的證明後,判斷問題所在並沿原路線繼續修補。RL 專家則處理另一層問題:改變證明路線被抽中的機率。IMO 級題目的證明空間非常稀疏,強化學習根據成功與失敗軌跡重新調整生成分佈,讓能完整閉合的思路獲得更高權重,壓低反覆走入死路的選擇。
通用版、SFT 和 RL 三份 checkpoint 由此形成三種不同的解題偏好。搜尋效果取決於有效樣本量,而非表面生成數量。若同一模型連續生成 200 份證明,其中大部分圍繞同幾種構造打轉,候選之間相關性越高,新增計算提供的新資訊越少。加入經過不同後訓練的 checkpoint,相當於主動改變取樣分佈,讓算力進入另一片證明空間。實驗顯示,繼續增加同一個 RL 模型的取樣,收益很快放緩;把 SFT 專家加入後,即使生成預算接近,能夠覆蓋的問題明顯增加。
首輪生成階段,Nemotron 會為每道題生成 384 份證明,但這些答案並非終點,而是進入一個持續更新的搜尋池。每份證明經驗證後分為直接通過、方向可用但需修補、路線價值較低三類。系統不會簡單刪除後兩類,而是保留評分較高的證明,再把驗證器指出的問題送回模型繼續修改。多輪改寫因此不是反覆潤色同一篇答案,每輪都會重新產生多個候選,再次進入全域性證明池與之前的路線競爭。某條證明若持續獲得較高評價,算力會繼續沿該路徑投入;若修改幾輪仍無法解決關鍵漏洞,就會逐漸失去擴充套件機會。
這種搜尋也有天然限制:自然語言數學證明沒有像圍棋那樣明確的規則系統,一個證明可能前面幾十步全部成立,只在最後用了一個並不存在的對稱性。於是 verifier 不僅負責打分,還會直接影響計算資源的流向。為降低錯誤證明被放行的機率,輝達把接受門檻設得很高:兩個專家反覆檢查同一份證明,只有所有判斷全部通過,候選才會被接受。實驗顯示,提高門檻能明顯減少錯誤證明通過,但代價是大量正確證明也被擋在外面。
更深一層的困難在於驗證判斷並不獨立。SFT、RL 和通用版雖經不同後訓練,卻共享同一個 Nemotron 3 Ultra 底座,擁有大量相似的知識結構、概念表示和推理習慣。當錯誤來自隨機疏忽時,多次檢查可以降低風險;當錯誤來自幾個模型共同擁有的理解盲區時,增加檢查次數的效果就會明顯減弱。論文中一份涉及列置換對稱性的錯誤證明即為典型:證明本身存在可明確構造的反例,但三個 checkpoint 反覆判斷,沒有一個識別出關鍵漏洞。第 6 題則從另一邊說明問題:系統投入大量計算後得到一份新證明,內部驗證未放行,但人工複核認為其中包含相當部分正確內容,可拿到部分分數。這意味著 verifier 同時存在兩類偏差——錯誤證明因共享盲區被高置信度放過,有價值證明又因門檻保守被壓下去。
因此,這條路線後續面對的並非只是訓練一個更強的數學裁判,而是怎樣讓不同驗證元件擁有儘量不同的錯誤來源。不同基礎模型可負責交叉檢查,專門的反例生成器可主動尋找推翻關鍵步驟的構造,符號系統可處理適合機械核驗的代數關係,部分區域性命題也可轉交形式化證明器。生成端可以依靠更多模型、更大的搜尋池和更深的修改鏈擴大覆蓋;驗證端面對的則是錯誤相關性,繼續增加同一類模型的檢查次數,收益會更快進入平台期。
開源之後,30/42 可以被還原成一組具體的系統變數,外部團隊能改變 checkpoint 組合、sampling budget、verifier threshold 和 refinement 深度,再看成績如何變化。但這與完整重跑 30 分仍是兩回事:550B 級模型、TB 級視訊記憶體以及數千個 GB200 GPU 小時依然構成很高的硬體門檻;Nemotron 3 Ultra 通用版自身的完整後訓練鏈也沒有做到逐階段復刻,輝達官方文件明確寫明,部分中間 teacher 和 MOPD checkpoint 尚未開放。
從產業視角看,這條鏈把問題暴露得很清楚:證明生成可以依靠更多 proposal 和更多 test-time compute 繼續擴充套件,驗證卻還沒有同樣穩定的 scaling 路線。下一步真正難處理的,是怎樣讓 verifier 的錯誤不再與 generator 高度重合。即便配方全開,8 張 B200 顯示卡與 1,464 小時的長考成本,依然是一道將全球絕大多數高校實驗室拒之門外的硬牆。這種“只能看、買不起”的現狀,被視為未來 AI4S 競賽的預演:程式碼平權已經實現,但算力主權仍被少數巨頭壟斷。
輝達的這套打法也揭示了未來科學發現的一種協作新範式:過去數學家多是單打獨鬥的獨奏者,而在暴力推理時代,AI 巨頭燒掉數百萬美金的電費,把枯燥、重複、海量的邏輯可能性全部剷平。這並不意味著數學家的消亡,而是意味著數學家角色的位移——從尋找證據的人變成審判邏輯的人。這份報告對基礎研究最大的尊重,或許不在於那 30 分的成績,而在於它傳遞的訊號:算力可以完成最髒最累的體力活,但關於真理的最終裁決、關於驗證邏輯的一致性,仍需仰仗人類的直覺。