一个由 35 位研究者联合发布的新基准显示,当前最强的 AI 智能体在理论物理计算上的准确率已能与各子领域的顶尖专家比肩。该基准名为 TheoPhysEval,参与者来自国际理论科学中心(ICTS)、哈佛大学、KU Leuven 以及 Google DeepMind 等机构,包含 50 道未发表的理论物理研究问题,且每道题都有可验证的答案。
据作者介绍,相关子领域的顶尖专家在没有 AI 辅助的情况下,解决一道典型问题大约需要一天或更短;而邻近领域的专家则要花长得多的时间。研究团队测试了市面可用的 AI 智能体,且未向它们提供任何人工提示。
结果排名第一的是运行在 OpenAI Codex 编码环境中的 GPT-6-Astra:它在 50 道题中答对 49 道,准确率 98%,平均每题成本不到 3 美元,跑完整套基准的总花费略低于 116 美元。紧随其后的是运行在 Claude Code 中的 Anthropic Opus 5.5,得分 92%;Google Gemini 3.8 Flash 为 68%;开放权重模型 DeepSeek-V4.1-Flash 与 GLM 5.3 分别为 54% 和 42%。
基准测的是常规科研工作,而非重大开放难题
TheoPhysEval 刻意避开了学科中的重大未解问题,聚焦于作者所称的“转曲柄”式任务——研究者把已知方法套用到稍作修改的问题上。出题人往往是把本人近期论文中某个计算里的几个数值改一改,使新结果无法从旧结果直接猜出。研究者表示,这类问题常被交给博士生,作为进入科研的第一步。
黑洞研究中的一道题可以说明其难度:解题者需要先找到一篇较早的论文,把其中的方程从 五维时空 搬到 四维时空,再用自编程序算出结果。协调人 Suvrat Raju 正是那篇旧论文的共同作者,他本人解这道题花了大约一天。作者估计,在现代智能体出现之前,只有极少数专家同时具备相应的物理知识和这类计算方法的使用经验,即便如此他们也需要好几天。
题目横跨理论物理的 11 个子领域,从流体、生物过程到粒子物理与宇宙学。每个智能体都跑了两遍测试:一遍是带网络搜索的现实条件,一遍是无互联网访问的隔离环境。
联网与否差别不大
Anthropic 的 Opus 5.5 以 92% 位列第二。Google 的 Gemini 3.8 Flash 得分 68%,开放权重的 DeepSeek-V4.1-Flash 和 GLM 5.3 分别为 54% 和 42%。较弱的模型有时会犯专家一眼就能看出的错误。在黑洞那道题上,Gemini 和 GLM 在联网运行时直接照搬了旧论文中的公式,而那些公式适用于 五维,并非题目要求的 四维。
互联网访问带来的差异出乎意料地小。在无网络搜索的条件下,Astra 和 Opus 各自都拿到 92%。许多题目依赖研究论文中的公式,而模型通常并未拿到这些论文。作者将此视为一个信号:领先的语言模型实际上已经“记住”了理论物理文献的很大一部分。联网时,Astra 解出了除一道题之外的全部题目,而那道题难倒了所有模型——它要求给出一个能生成特定曲线的方程,专家的解法依赖某些特殊数学形式,这些形式只有在更宽泛的意义上才算作所需的微分方程。作者承认这道题看起来可能“不公平”,但认为它贴近现实,因为研究者常常需要从不精确的数据中反推背后的物理。
若干 AI 的“错误”实为答案本身有误
在若干题目上,研究者与出题专家复核后发现,他们的参考答案中存在细小且难以察觉的错误。修正之后,Astra 的答案每次都是正确的。这一模式或许还能解释一个表面矛盾:智能体在 TheoPhysEval 上的表现好于 CritPt 等其他物理基准,尽管作者认为自己的题目平均而言更难。近期一项研究发现,部分理论物理基准的评分有误,某些情况下严重低估了模型的能力。
希望核验结果的人可以在 Hugging Face 上下载题目与测试设置的数据集。
为何强大的计算能力尚未带来物理突破
作者写道,当前一些最强的模型在具体计算上可能已经超过了最优秀的人类研究者,即便是在高度专业化的领域,他们称这是一个重要里程碑。他们指出,这种影响在数学领域更为明显——AI 智能体已经解决了一些重要的开放问题。据 OpenAI 的说法,其中包括关于流体流动方程的 Navier-Stokes 问题,它是著名的千禧年大奖难题之一。
理论物理尚未出现可比的突破。作者解释,一个结果可验证的具体计算只是研究过程的最后一环;在此之前,必须有人构建理论并提出“正确”的问题。当一个问题被证明太难时,优秀的研究者会转向一个更简单但同样有趣的相邻问题,而当前的智能体并不擅长这一点。物理学家们对“什么问题有趣”也共享着一套虽非完全一致、但相当普遍的判断,而智能体似乎还不具备这种“品味”。当被要求设计新问题时,它们会陷进人类觉得无聊的细节里。
研究者强调,这些观察无法量化,也不是对 AI 走向的预测。他们认为 AI 智能体可能在不久的将来独立完成顶级研究,但这需要的远不止解题能力。