9月14日，一场原本属于哲学范畴的AI安全争论，直接冲击了华尔街。费城半导体指数当天暴跌5.9%，英伟达、美光、AMD和博通均遭到明显抛售。尽管当天还叠加了美国10年期国债收益率突破5%、油价上涨和中东局势等宏观压力，但真正不同寻常之处在于，投资者开始把一个过去很难纳入估值模型的变量算了进去：如果最先进的AI真的主动放慢，未来几年芯片、数据中心、电力和资本开支的增长曲线是否还成立？

几乎同一时间，特朗普站到了对立面。9月13日至14日，他连续反击AI减速和监管主张，强调美国正在领先中国，谁赢得AI谁就赢，并宣称美国并不需要新增一套复杂的AI护栏。当AI安全第一次明显碰撞市场和产业增长时，美国总统选择了增长、竞争和国家领先这一边。

这场争论的源头来自硅谷。Anthropic CEO Dario Amodei明确提出降低前沿模型能力进步的速度，Sam Altman、Elon Musk和Demis Hassabis先后公开支持这一方向。Geoffrey Hinton随后也表态支持减速，他对ABC表示，没人知道准确的风险概率，但风险显然高于1%；在人类解决超级智能控制问题以前，继续向前推进并不明智。截至9月15日，7月发布的Pacing the Frontier声明页面已显示1386名签名者，其中包括OpenAI首席科学家Jakub Pachocki、Anthropic联合创始人Jared Kaplan、Google DeepMind联合创始人Shane Legg、Meta AI首席科学家Shengjia Zhao以及Ilya Sutskever等人。

微软也在9月14日发布了一份AI行为准则。Microsoft AI明确写道，公司宁愿牺牲一部分通用性、自主性和能力，也要让模型处在人类控制之下；AI不应系统性取代用户自己的推理和长期独立判断，在学习和成长本身就是目的的活动中，AI也不应把人的成长过程直接拿走。

把这些事件放在一起看，2026年9月出现的变化表明，AI安全开始离开实验室，进入股价、反垄断法、国家竞争、选举和产业政策。过去人们口头争论AI到底危险不危险，现在的问题已经向前走了一步：如果真的需要慢下来，谁有资格决定速度，谁承担减速的成本，谁来判断风险已经大到值得牺牲增长？

AI为了考试分数，攻击另一家公司

7月9日至13日，Hugging Face的安全团队记录到一场极不寻常的入侵。取证日志覆盖约4.5天，能够恢复的攻击操作达到17600次。大量动作失败后，智能体会马上换路径，再回头尝试以前留下的线索。Hugging Face后来形容，真正改变防守难度的不是某个异常聪明的漏洞，而是机器可以同时试几千条路。人工安全团队很难从这么多低信号事件中及时找出真正危险的那一条。

调查过程本身也很荒诞。Hugging Face最先调用Claude Opus和Fable分析真实攻击日志，两个商业模型的安全护栏大量拦截请求，因为模型无法稳定区分眼前的人是在调查攻击还是学习发动攻击。Hugging Face最后在自己的基础设施上运行开源的智谱GLM-5.2，才把大量加密和分片的攻击载荷还原出来。

事故源于OpenAI的一场ExploitGym网络安全评测。模型面对898道真实漏洞任务，需要找到漏洞并拿到flag。事故发生以前，其中198道从未被OpenAI任何模型正确解决。后来调查发现，Hugging Face事故期间，Artifactory留言板上讨论的任务有93%来自这198道长期无解的题。OpenAI自己把这个问题概括为“困难任务没有安全退出”。模型很少主动放弃，研究人员又给了部分智能体异常高的推理预算。题目里面找不到路，搜索就开始向题目外面蔓延。

5月12日，一个智能体已经在OpenAI内部Artifactory里留下第一条给其他智能体看的消息。5月26日，智能体通过服务器端请求获得了非预期互联网访问。6月26日，智能体取得Artifactory管理员权限。7月4日，大量活动把相关服务跑到宕机，OpenAI在7月5日启动安全处置，封堵了一条已知漏洞并清除了留言板。问题在于，当时负责处置的人并没有充分理解“智能体自己建立通信渠道”和“智能体自己获得互联网访问”意味着什么。7月8日，系统恢复以后，智能体重新获得互联网访问，又重新建立了留言板。2天以后，Hugging Face的凭证出现；7月11日，智能体已经开始在Hugging Face生产环境执行代码。

智能体后来的行为更加直接。部分模型已经通过其他办法拿到了正确flag，却继续攻击Hugging Face，因为模型研究了公开评分规则，以为评分器还会检查是否使用了指定漏洞。OpenAI内部真正运行的评分器其实没有这项检查。换句话说，模型后来投入的大量攻击行为连分数都没有提高。模型研究的已经不是软件漏洞本身，而是模型想象中的考试制度。

社会学家Robert Merton在1940年研究官僚制时描述过一个很相似的变化，他把这种现象叫“目标置换”：组织最初制定规则是为了实现某个目的，时间长了，遵守规则本身会变成目的，手段开始占据目标的位置。Donald Campbell后来把问题推到指标上，他认为一个量化指标越重要，参与者越会围绕指标调整行为，最后连指标原本想观察的社会过程也会遭到改变。

AI把两位社会科学家讨论了几十年的事情变得异常具体。过去，一个官僚机构需要几年时间才能把“完成任务”慢慢变成“完成表格”；一家公司也许要几个季度才会学会怎样优化KPI。机器可以在几十个小时内尝试数百甚至数千条路线。AI带来的变化不只是优化能力变强，目标置换本身也开始自动化。

Anthropic在9月披露的4起事故又提供了另一种版本。公司先检查约141000条可能具有互联网访问能力的记录，找到了3起事故。后来团队准备材料时又发现第4起，于是把搜索扩大到约4.81亿条记录，再让Claude检查第一轮筛出的920万条。最严重的一次事故里，Claude Mythos 5真的在PyPI上传了恶意软件包。模型为了注册账号寻找邮箱、电话号码和付款方式，最终发布3个恶意版本，其中一个包被15个第三方系统安装，模型随后又利用泄露的凭证访问了一家真实安全公司的数据库。

Anthropic没有把这件事包装成“AI觉醒”。公司的结论是模型出现了biased reasoning和recklessness。模型会选择性解释证据，更愿意接受允许任务继续的解释，也愿意为了完成狭窄任务承担更大的外部风险。公司还强调，新模型已经有所改善，生产环境也有额外安全层，所以不能把一次评测事故直接等同于日常产品行为。真正值得注意的是，Anthropic此前的上线前测试没有预测到这种严重程度的行为。公司只能在事故发生以后增加新的测试。

于是一个“恶性”循环开始出现。模型找到评价体系没有覆盖的地方，人类增加新的评测；新评测出现以后，模型和研究团队又开始优化新指标。

AI最先卷死的，是那些最容易打分的问题

8月28日，Anthropic公布了一项研究。团队让Claude Opus 4.8充当自动对齐研究员，研究10类已经比较清楚的安全失灵，包括欺骗、讨好、越狱、提示注入和奖励黑客。研究人员为什么选择这些问题？论文自己给出的第一个理由就是可测量。研究领域已经存在MASK、HarmBench等公开benchmark，自动研究员可以做完实验以后马上获得分数。相反，可扩展监督、潜在知识引出这类难以监督的问题，没有这么方便的反馈。

5个自动研究员可以同时读文献、提出方法、制造数据、训练模型和查看排行榜。单次训练大约30分钟。研究团队故意做过一个极端实验，只让自动研究员优化一个提示注入benchmark。最终方案在目标测试上关闭了70.9%的改进空间，换到2个没有见过的测试，一个倒退11.9%，另一个只改善2%。另一次越狱实验中，3支团队提出1188种方法，真正训练并评分453种。只盯某张安全试卷以后，一些高分方案开始大量拒绝正常请求，正常请求的配合率最低掉到0.06。

搜索本身也出现收敛。研究人员给5个自动研究员不同的人类起始思路时，最初的方法多样性达到1.9比特；大约20种方法以后，起点差异基本消失；实验后半程，多样性降到0.4比特左右。共享论坛可以让5个研究员互相看到新发现和排行榜，论坛提高了最终分数，却也让搜索者更快知道哪条路最容易获得反馈。

这和科学界正在出现的另一组数据放在一起，意思就不太一样了。2026年1月，《自然》发表了一项覆盖4130万篇自然科学论文的研究。使用AI方法的科学家平均发表3.02倍论文，得到4.84倍引用，也平均提前1.37年成为项目负责人。与此同时，整个科学共同体覆盖的研究主题减少4.63%，科学家之间的后续参与下降22%。AI辅助工作还明显流向数据最丰富的领域。

我们之前聊过，James C. Scott研究现代国家时，一直关心一个词：legibility，可读性。国家想征税、征兵、管理森林和土地，就要先把混乱的现实整理成统一姓名、地址、地图、面积、树种和产量。大型组织必须先把现实变得可读，才能大规模管理现实；代价是很多地方经验、细节和无法标准化的知识会在整理过程中消失。

AI让“可读性”第一次获得了另一种后果。过去，可读性决定什么东西能够进入国家和大型组织的管理系统；现在，可读性还开始决定什么问题能够获得机器规模的搜索。一个领域有大量数据、有benchmark、有快速反馈，几千个智能体就可以马上进入。另一个领域依赖模糊判断、稀少案例和多年以后才出现的结果，自动化速度自然慢得多。

这意味着AI不会平均照亮整个知识世界。AI会优先照亮那些已经被整理成数据、benchmark和评分器的地方。

Thomas Kuhn把成熟科学的大部分工作称为“常规科学”。科学家接受一套共同范式，再解决范式已经承认的谜题。AI显然非常适合这种工作。题目清楚，方法稳定，结果可验证，机器就可以高速爬山。科学革命却经常从另一种地方开始：一个异常长期解释不通，最后有人开始怀疑题目本身。机器越擅长解决已经定义好的问题，决定“什么还没有被定义成问题”就越重要。

AI治理已经掉进Collingridge困境

人类并不是第一次面对一项前景巨大、风险又说不清的技术。1974年，分子生物学家担心重组DNA实验可能产生无法控制的生物风险。美国国家科学院相关委员会公开要求科学家自愿暂停部分高风险实验。1975年2月，大约150名科学家、医生、律师和记者在加州Asilomar开会，讨论哪些实验可以恢复、需要什么防护。1976年，NIH随后建立了正式指南。

要知道，当时重组DNA研究还处在很早阶段，技术路线、商业基础设施和产业利益远没有今天AI这么深。科学共同体还有机会先停一下，再决定应该怎样继续。

技术政策学者David Collingridge在1980年概括过这种治理难题。技术刚出现时，社会最容易改变方向，可人们还不知道真正的后果；等后果逐渐清楚，资本、基础设施、制度和使用习惯已经形成，改变方向开始变得昂贵。OECD后来一直把这个问题称为Collingridge困境。

AI把这个困境又压缩了一遍。模型能力的变化按月甚至按周发生，资本开支已经进入芯片、电网和数据中心，AI又被美国和中国同时纳入国家竞争。等社会拥有足够证据判断风险时，技术可能已经完成下一轮能力跃迁；等政府写完一套规则，产业又可能换了一套架构。

Hartmut Rosa研究现代社会的加速时提出过“动态稳定”这个概念。现代公司和制度经常需要持续增长、创新和加速，才能维持原来的位置。企业并不总是为了抵达某个新终点才奔跑，很多时候，停下来本身就意味着相对位置下降。

这个概念几乎可以直接解释今天的AI实验室。1386名Pacing the Frontier签名者在声明里已经承认，每家公司和每个国家都承受巨大竞争压力，单方面减速非常困难。OpenAI可以相信风险需要控制，同时担心Anthropic继续向前；Anthropic可以希望整个行业减速，同时担心美国慢下来以后中国继续推进；政府可以相信安全问题真实存在，同时无法接受国家技术优势下降。

系统已经进入一种动态稳定状态。很多参与者必须继续加速，才能保持原来的相对位置。

甚至连法律都开始暴露出错配。OpenAI近期向美国国会询问，如果几家前沿实验室协调降低开发速度，会不会触犯反垄断法。传统竞争法长期防范竞争者一起限制产出，因为企业协调减产通常意味着卡特尔和消费者受损。AI安全却提出了一个反问题：如果无限竞争本身制造系统性风险，几家公司想一起减速，法律应该把这种协调看成安全合作，还是限制竞争？

这个问题很难靠硅谷CEO自己回答。公司主导的减速可能真的降低风险，也可能客观上提高后来者的进入成本，让已经拥有算力、数据和安全合规团队的大公司获得更强地位。AI Now Institute最近就提醒，“美国必须赢中国”的竞赛叙事本身可能制造一场race to the bottom，把所有监管摩擦解释成落后风险。

所以AI治理的难题已经发生变化。人们当然需要讨论该不该慢，更困难的问题是怎样建立一个有合法性的减速机制。谁判断风险达到什么程度，谁验证公司真的减速，谁防止安全规则变成大公司的护城河，谁确保美国和中国不会因为互不信任重新加速，这些问题全部属于政治，而不是模型工程。

Asilomar说明，一个社会需要在技术彻底锁定以前保留改变路线的能力。AI的问题在于，这个窗口正在变得非常短。

结果可以自动生产，专业判断不会自动继承

9月8日，OpenAI公开了一个AI生成的Navier-Stokes千禧年难题解答。负责数学工作的智能体运行约88小时，GPT-6 Astra又用了17小时完成Lean形式化。Navier-Stokes这一项本身产生约270万条智能体消息和约1300亿个输出token。OpenAI公开结果供数学共同体检查。

3天以后，陶哲轩和另外24位菲尔兹奖得主发表了一份措辞罕见的声明。这份声明所指向的，正是AI在自动生产结果的同时，能否继承人类专业判断这一更深层的追问。