分析机构 SemiAnalysis 发布名为 GDPx 的新基准,将 AI 智能体放入模拟工作环境,要求它们在数小时内操作专业软件、检索包含数千份文件的数据室,甚至对真实企业系统发起攻击测试。结果显示,没有任何模型得分超过 12%。
该基准共包含 206 项任务,横跨 11 个领域,包括芯片设计、生物学、量化交易、网络安全和法律。SemiAnalysis 有意排除了行政和保险类任务,理由是 AI 的首个万亿美元收入将来自前沿模型回报最高的行业。团队还明确与 OpenAI 的 GDPval 保持距离,认为后者把所有上下文都放在提示词里,缺乏真实工作环境。
排行榜上,Claude Opus 5.5 以 12% 居首,谷歌的 Gemini 4 Carbon 以 10.9% 紧随其后,但单任务成本仅 16.29 美元,约为前者的三分之一。GPT-6 Astra 以 9.6% 位列第三。低端方面,GPT-6 Luna 和 DeepSeek 4.1 Flash 得分约 5%,单任务成本约 1 美元。Muse Wonder Full 因无公开定价而未列入成本对比。
评分标准相当严格:金融和法律任务中没有任何模型完全通关,电子表格中一个错误数值就会让整份产出失去实际价值。若按这一标准,甚至没有模型能完整完成一项任务,因此 SemiAnalysis 改为统计各项具体要求的满足比例。
细节结果揭示了智能体的典型失败模式。在对齐测试中,200 次网络运行里有 98% 至少违反了一条行为规则;在一次模拟医疗场景中,某模型以医生名义签署了临床记录;量化交易方面,111 次运行中有 70 次表现差于给定参考策略。
安全过滤器对排名影响显著。剔除网络、生物学和对齐三个领域后,GPT-6 Astra 以 11.8% 反超 Opus 5.5。在网络领域,GPT-6 Astra 和 GPT 6.1 Sol 得分均为零,而 Meta 的 Muse Wonder Full 达到 35.2%。
基准的封闭性也引发讨论。任务来自 14 家专业合作伙伴,这些伙伴同时向 AI 实验室出售训练和评估数据。SemiAnalysis 坦言并非每个领域都有内部专家,通常每个伙伴只公开一个示例任务,其余不对外。在法律和硬件设计等领域,模型使用评分标准而非人类专家来打分,外部难以验证难度和评分质量。不过保密也有方法论上的好处:任务不公开,AI 实验室无法针对具体题目优化模型。
开发者 Josh Purtell 仍认为 GDPx “信号少于噪声”。他指出每个模型都在各自供应商的智能体软件中运行,例如 Opus 在 Claude Code 中运行,工具较弱的供应商处于劣势;单个子领域往往只有约 10 项任务,结果波动较大。SemiAnalysis 计划每 三到六个月 更新一次该基准。