一個由 35 位研究者聯合釋出的新基準顯示,當前最強的 AI 智慧體在理論物理計算上的準確率已能與各子領域的頂尖專家比肩。該基準名為 TheoPhysEval,參與者來自國際理論科學中心(ICTS)、哈佛大學、KU Leuven 以及 Google DeepMind 等機構,包含 50 道未發表的理論物理研究問題,且每道題都有可驗證的答案。

據作者介紹,相關子領域的頂尖專家在沒有 AI 輔助的情況下,解決一道典型問題大約需要一天或更短;而鄰近領域的專家則要花長得多的時間。研究團隊測試了市面可用的 AI 智慧體,且未向它們提供任何人工提示。

結果排名第一的是執行在 OpenAI Codex 編碼環境中的 GPT-6-Astra:它在 50 道題中答對 49 道,準確率 98%,平均每題成本不到 3 美元,跑完整套基準的總花費略低於 116 美元。緊隨其後的是執行在 Claude Code 中的 Anthropic Opus 5.5,得分 92%;Google Gemini 3.8 Flash 為 68%;開放權重模型 DeepSeek-V4.1-Flash 與 GLM 5.3 分別為 54% 和 42%。

基準測的是常規科研工作,而非重大開放難題

TheoPhysEval 刻意避開了學科中的重大未解問題,聚焦於作者所稱的“轉曲柄”式任務——研究者把已知方法套用到稍作修改的問題上。出題人往往是把本人近期論文中某個計算裡的幾個數值改一改,使新結果無法從舊結果直接猜出。研究者表示,這類問題常被交給博士生,作為進入科研的第一步。

黑洞研究中的一道題可以說明其難度:解題者需要先找到一篇較早的論文,把其中的方程從 五維時空 搬到 四維時空,再用自程式設計序算出結果。協調人 Suvrat Raju 正是那篇舊論文的共同作者,他本人解這道題花了大約一天。作者估計,在現代智慧體出現之前,只有極少數專家同時具備相應的物理知識和這類計算方法的使用經驗,即便如此他們也需要好幾天。

題目橫跨理論物理的 11 個子領域,從流體、生物過程到粒子物理與宇宙學。每個智慧體都跑了兩遍測試:一遍是帶網路搜尋的現實條件,一遍是無網際網路訪問的隔離環境。

聯網與否差別不大

Anthropic 的 Opus 5.5 以 92% 位列第二。Google 的 Gemini 3.8 Flash 得分 68%,開放權重的 DeepSeek-V4.1-Flash 和 GLM 5.3 分別為 54% 和 42%。較弱的模型有時會犯專家一眼就能看出的錯誤。在黑洞那道題上,Gemini 和 GLM 在聯網執行時直接照搬了舊論文中的公式,而那些公式適用於 五維,並非題目要求的 四維。

網際網路訪問帶來的差異出乎意料地小。在無網路搜尋的條件下,Astra 和 Opus 各自都拿到 92%。許多題目依賴研究論文中的公式,而模型通常並未拿到這些論文。作者將此視為一個訊號:領先的語言模型實際上已經“記住”了理論物理文獻的很大一部分。聯網時,Astra 解出了除一道題之外的全部題目,而那道題難倒了所有模型——它要求給出一個能生成特定曲線的方程,專家的解法依賴某些特殊數學形式,這些形式只有在更寬泛的意義上才算作所需的微分方程。作者承認這道題看起來可能“不公平”,但認為它貼近現實,因為研究者常常需要從不精確的資料中反推背後的物理。

若干 AI 的“錯誤”實為答案本身有誤

在若干題目上,研究者與出題專家複核後發現,他們的參考答案中存在細小且難以察覺的錯誤。修正之後,Astra 的答案每次都是正確的。這一模式或許還能解釋一個表面矛盾:智慧體在 TheoPhysEval 上的表現好於 CritPt 等其他物理基準,儘管作者認為自己的題目平均而言更難。近期一項研究發現,部分理論物理基準的評分有誤,某些情況下嚴重低估了模型的能力。

希望核驗結果的人可以在 Hugging Face 上下載題目與測試設定的資料集。

為何強大的計算能力尚未帶來物理突破

作者寫道,當前一些最強的模型在具體計算上可能已經超過了最優秀的人類研究者,即便是在高度專業化的領域,他們稱這是一個重要里程碑。他們指出,這種影響在數學領域更為明顯——AI 智慧體已經解決了一些重要的開放問題。據 OpenAI 的說法,其中包括關於流體流動方程的 Navier-Stokes 問題,它是著名的千禧年大獎難題之一。

理論物理尚未出現可比的突破。作者解釋,一個結果可驗證的具體計算只是研究過程的最後一環;在此之前,必須有人構建理論並提出“正確”的問題。當一個問題被證明太難時,優秀的研究者會轉向一個更簡單但同樣有趣的相鄰問題,而當前的智慧體並不擅長這一點。物理學家們對“什麼問題有趣”也共享著一套雖非完全一致、但相當普遍的判斷,而智慧體似乎還不具備這種“品味”。當被要求設計新問題時,它們會陷進人類覺得無聊的細節裡。

研究者強調,這些觀察無法量化,也不是對 AI 走向的預測。他們認為 AI 智慧體可能在不久的將來獨立完成頂級研究,但這需要的遠不止解題能力。