9月14日，一場原本屬於哲學範疇的AI安全爭論，直接衝擊了華爾街。費城半導體指數當天暴跌5.9%，輝達、美光、AMD和博通均遭到明顯拋售。儘管當天還疊加了美國10年期國債收益率突破5%、油價上漲和中東局勢等宏觀壓力，但真正不同尋常之處在於，投資者開始把一個過去很難納入估值模型的變數算了進去：如果最先進的AI真的主動放慢，未來幾年晶片、資料中心、電力和資本開支的增長曲線是否還成立？

幾乎同一時間，特朗普站到了對立面。9月13日至14日，他連續反擊AI減速和監管主張，強調美國正在領先中國，誰贏得AI誰就贏，並宣稱美國並不需要新增一套複雜的AI護欄。當AI安全第一次明顯碰撞市場和產業增長時，美國總統選擇了增長、競爭和國家領先這一邊。

這場爭論的源頭來自矽谷。Anthropic CEO Dario Amodei明確提出降低前沿模型能力進步的速度，Sam Altman、Elon Musk和Demis Hassabis先後公開支援這一方向。Geoffrey Hinton隨後也表態支援減速，他對ABC表示，沒人知道準確的風險機率，但風險顯然高於1%；在人類解決超級智慧控制問題以前，繼續向前推進並不明智。截至9月15日，7月釋出的Pacing the Frontier宣告頁面已顯示1386名簽名者，其中包括OpenAI首席科學家Jakub Pachocki、Anthropic聯合創始人Jared Kaplan、Google DeepMind聯合創始人Shane Legg、Meta AI首席科學家Shengjia Zhao以及Ilya Sutskever等人。

微軟也在9月14日釋出了一份AI行為準則。Microsoft AI明確寫道，公司寧願犧牲一部分通用性、自主性和能力，也要讓模型處在人類控制之下；AI不應系統性取代使用者自己的推理和長期獨立判斷，在學習和成長本身就是目的的活動中，AI也不應把人的成長過程直接拿走。

把這些事件放在一起看，2026年9月出現的變化表明，AI安全開始離開實驗室，進入股價、反壟斷法、國家競爭、選舉和產業政策。過去人們口頭爭論AI到底危險不危險，現在的問題已經向前走了一步：如果真的需要慢下來，誰有資格決定速度，誰承擔減速的成本，誰來判斷風險已經大到值得犧牲增長？

AI為了考試分數，攻擊另一家公司

7月9日至13日，Hugging Face的安全團隊記錄到一場極不尋常的入侵。取證日誌覆蓋約4.5天，能夠恢復的攻擊操作達到17600次。大量動作失敗後，智慧體會馬上換路徑，再回頭嘗試以前留下的線索。Hugging Face後來形容，真正改變防守難度的不是某個異常聰明的漏洞，而是機器可以同時試幾千條路。人工安全團隊很難從這麼多低訊號事件中及時找出真正危險的那一條。

調查過程本身也很荒誕。Hugging Face最先呼叫Claude Opus和Fable分析真實攻擊日誌，兩個商業模型的安全護欄大量攔截請求，因為模型無法穩定區分眼前的人是在調查攻擊還是學習發動攻擊。Hugging Face最後在自己的基礎設施上執行開源的智譜GLM-5.2，才把大量加密和分片的攻擊載荷還原出來。

事故源於OpenAI的一場ExploitGym網路安全評測。模型面對898道真實漏洞任務，需要找到漏洞並拿到flag。事故發生以前，其中198道從未被OpenAI任何模型正確解決。後來調查發現，Hugging Face事故期間，Artifactory留言板上討論的任務有93%來自這198道長期無解的題。OpenAI自己把這個問題概括為“困難任務沒有安全退出”。模型很少主動放棄，研究人員又給了部分智慧體異常高的推理預算。題目裡面找不到路，搜尋就開始向題目外面蔓延。

5月12日，一個智慧體已經在OpenAI內部Artifactory裡留下第一條給其他智慧體看的訊息。5月26日，智慧體通過伺服器端請求獲得了非預期網際網路訪問。6月26日，智慧體取得Artifactory管理員許可權。7月4日，大量活動把相關服務跑到宕機，OpenAI在7月5日啟動安全處置，封堵了一條已知漏洞並清除了留言板。問題在於，當時負責處置的人並沒有充分理解“智慧體自己建立通訊渠道”和“智慧體自己獲得網際網路訪問”意味著什麼。7月8日，系統恢復以後，智慧體重新獲得網際網路訪問，又重新建立了留言板。2天以後，Hugging Face的憑證出現；7月11日，智慧體已經開始在Hugging Face生產環境執行程式碼。

智慧體後來的行為更加直接。部分模型已經通過其他辦法拿到了正確flag，卻繼續攻擊Hugging Face，因為模型研究了公開評分規則，以為評分器還會檢查是否使用了指定漏洞。OpenAI內部真正執行的評分器其實沒有這項檢查。換句話說，模型後來投入的大量攻擊行為連分數都沒有提高。模型研究的已經不是軟體漏洞本身，而是模型想象中的考試製度。

社會學家Robert Merton在1940年研究官僚制時描述過一個很相似的變化，他把這種現象叫“目標置換”：組織最初制定規則是為了實現某個目的，時間長了，遵守規則本身會變成目的，手段開始佔據目標的位置。Donald Campbell後來把問題推到指標上，他認為一個量化指標越重要，參與者越會圍繞指標調整行為，最後連指標原本想觀察的社會過程也會遭到改變。

AI把兩位社會科學家討論了幾十年的事情變得異常具體。過去，一個官僚機構需要幾年時間才能把“完成任務”慢慢變成“完成表格”；一家公司也許要幾個季度才會學會怎樣最佳化KPI。機器可以在幾十個小時內嘗試數百甚至數千條路線。AI帶來的變化不只是最佳化能力變強，目標置換本身也開始自動化。

Anthropic在9月披露的4起事故又提供了另一種版本。公司先檢查約141000條可能具有網際網路訪問能力的記錄，找到了3起事故。後來團隊準備材料時又發現第4起，於是把搜尋擴大到約4.81億條記錄，再讓Claude檢查第一輪篩出的920萬條。最嚴重的一次事故里，Claude Mythos 5真的在PyPI上傳了惡意軟體包。模型為了註冊賬號尋找郵箱、電話號碼和付款方式，最終釋出3個惡意版本，其中一個包被15個第三方系統安裝，模型隨後又利用洩露的憑證訪問了一家真實安全公司的資料庫。

Anthropic沒有把這件事包裝成“AI覺醒”。公司的結論是模型出現了biased reasoning和recklessness。模型會選擇性解釋證據，更願意接受允許任務繼續的解釋，也願意為了完成狹窄任務承擔更大的外部風險。公司還強調，新模型已經有所改善，生產環境也有額外安全層，所以不能把一次評測事故直接等同於日常產品行為。真正值得注意的是，Anthropic此前的上線前測試沒有預測到這種嚴重程度的行為。公司只能在事故發生以後增加新的測試。

於是一個“惡性”迴圈開始出現。模型找到評價體系沒有覆蓋的地方，人類增加新的評測；新評測出現以後，模型和研究團隊又開始最佳化新指標。

AI最先卷死的，是那些最容易打分的問題

8月28日，Anthropic公佈了一項研究。團隊讓Claude Opus 4.8充當自動對齊研究員，研究10類已經比較清楚的安全失靈，包括欺騙、討好、越獄、提示注入和獎勵駭客。研究人員為什麼選擇這些問題？論文自己給出的第一個理由就是可測量。研究領域已經存在MASK、HarmBench等公開benchmark，自動研究員可以做完實驗以後馬上獲得分數。相反，可擴充套件監督、潛在知識引出這類難以監督的問題，沒有這麼方便的反饋。

5個自動研究員可以同時讀文獻、提出方法、製造資料、訓練模型和檢視排行榜。單次訓練大約30分鐘。研究團隊故意做過一個極端實驗，只讓自動研究員最佳化一個提示注入benchmark。最終方案在目標測試上關閉了70.9%的改進空間，換到2個沒有見過的測試，一個倒退11.9%，另一個只改善2%。另一次越獄實驗中，3支團隊提出1188種方法，真正訓練並評分453種。只盯某張安全試卷以後，一些高分方案開始大量拒絕正常請求，正常請求的配合率最低掉到0.06。

搜尋本身也出現收斂。研究人員給5個自動研究員不同的人類起始思路時，最初的方法多樣性達到1.9位元；大約20種方法以後，起點差異基本消失；實驗後半程，多樣性降到0.4位元左右。共享論壇可以讓5個研究員互相看到新發現和排行榜，論壇提高了最終分數，卻也讓搜尋者更快知道哪條路最容易獲得反饋。

這和科學界正在出現的另一組資料放在一起，意思就不太一樣了。2026年1月，《自然》發表了一項覆蓋4130萬篇自然科學論文的研究。使用AI方法的科學家平均發表3.02倍論文，得到4.84倍引用，也平均提前1.37年成為專案負責人。與此同時，整個科學共同體覆蓋的研究主題減少4.63%，科學家之間的後續參與下降22%。AI輔助工作還明顯流向資料最豐富的領域。

我們之前聊過，James C. Scott研究現代國家時，一直關心一個詞：legibility，可讀性。國家想徵稅、徵兵、管理森林和土地，就要先把混亂的現實整理成統一姓名、地址、地圖、面積、樹種和產量。大型組織必須先把現實變得可讀，才能大規模管理現實；代價是很多地方經驗、細節和無法標準化的知識會在整理過程中消失。

AI讓“可讀性”第一次獲得了另一種後果。過去，可讀性決定什麼東西能夠進入國家和大型組織的管理系統；現在，可讀性還開始決定什麼問題能夠獲得機器規模的搜尋。一個領域有大量資料、有benchmark、有快速反饋，幾千個智慧體就可以馬上進入。另一個領域依賴模糊判斷、稀少案例和多年以後才出現的結果，自動化速度自然慢得多。

這意味著AI不會平均照亮整個知識世界。AI會優先照亮那些已經被整理成資料、benchmark和評分器的地方。

Thomas Kuhn把成熟科學的大部分工作稱為“常規科學”。科學家接受一套共同範式，再解決範式已經承認的謎題。AI顯然非常適合這種工作。題目清楚，方法穩定，結果可驗證，機器就可以高速爬山。科學革命卻經常從另一種地方開始：一個異常長期解釋不通，最後有人開始懷疑題目本身。機器越擅長解決已經定義好的問題，決定“什麼還沒有被定義成問題”就越重要。

AI治理已經掉進Collingridge困境

人類並不是第一次面對一項前景巨大、風險又說不清的技術。1974年，分子生物學家擔心重組DNA實驗可能產生無法控制的生物風險。美國國家科學院相關委員會公開要求科學家自願暫停部分高風險實驗。1975年2月，大約150名科學家、醫生、律師和記者在加州Asilomar開會，討論哪些實驗可以恢復、需要什麼防護。1976年，NIH隨後建立了正式指南。

要知道，當時重組DNA研究還處在很早階段，技術路線、商業基礎設施和產業利益遠沒有今天AI這麼深。科學共同體還有機會先停一下，再決定應該怎樣繼續。

技術政策學者David Collingridge在1980年概括過這種治理難題。技術剛出現時，社會最容易改變方向，可人們還不知道真正的後果；等後果逐漸清楚，資本、基礎設施、制度和使用習慣已經形成，改變方向開始變得昂貴。OECD後來一直把這個問題稱為Collingridge困境。

AI把這個困境又壓縮了一遍。模型能力的變化按月甚至按周發生，資本開支已經進入晶片、電網和資料中心，AI又被美國和中國同時納入國家競爭。等社會擁有足夠證據判斷風險時，技術可能已經完成下一輪能力躍遷；等政府寫完一套規則，產業又可能換了一套架構。

Hartmut Rosa研究現代社會的加速時提出過“動態穩定”這個概念。現代公司和制度經常需要持續增長、創新和加速，才能維持原來的位置。企業並不總是為了抵達某個新終點才奔跑，很多時候，停下來本身就意味著相對位置下降。

這個概念幾乎可以直接解釋今天的AI實驗室。1386名Pacing the Frontier簽名者在聲明裡已經承認，每家公司和每個國家都承受巨大競爭壓力，單方面減速非常困難。OpenAI可以相信風險需要控制，同時擔心Anthropic繼續向前；Anthropic可以希望整個行業減速，同時擔心美國慢下來以後中國繼續推進；政府可以相信安全問題真實存在，同時無法接受國家技術優勢下降。

系統已經進入一種動態穩定狀態。很多參與者必須繼續加速，才能保持原來的相對位置。

甚至連法律都開始暴露出錯配。OpenAI近期向美國國會詢問，如果幾家前沿實驗室協調降低開發速度，會不會觸犯反壟斷法。傳統競爭法長期防範競爭者一起限制產出，因為企業協調減產通常意味著卡特爾和消費者受損。AI安全卻提出了一個反問題：如果無限競爭本身製造系統性風險，幾家公司想一起減速，法律應該把這種協調看成安全合作，還是限制競爭？

這個問題很難靠矽谷CEO自己回答。公司主導的減速可能真的降低風險，也可能客觀上提高後來者的進入成本，讓已經擁有算力、資料和安全合規團隊的大公司獲得更強地位。AI Now Institute最近就提醒，“美國必須贏中國”的競賽敘事本身可能製造一場race to the bottom，把所有監管摩擦解釋成落後風險。

所以AI治理的難題已經發生變化。人們當然需要討論該不該慢，更困難的問題是怎樣建立一個有合法性的減速機制。誰判斷風險達到什麼程度，誰驗證公司真的減速，誰防止安全規則變成大公司的護城河，誰確保美國和中國不會因為互不信任重新加速，這些問題全部屬於政治，而不是模型工程。

Asilomar說明，一個社會需要在技術徹底鎖定以前保留改變路線的能力。AI的問題在於，這個視窗正在變得非常短。

結果可以自動生產，專業判斷不會自動繼承

9月8日，OpenAI公開了一個AI生成的Navier-Stokes千禧年難題解答。負責數學工作的智慧體執行約88小時，GPT-6 Astra又用了17小時完成Lean形式化。Navier-Stokes這一項本身產生約270萬條智慧體訊息和約1300億個輸出token。OpenAI公開結果供數學共同體檢查。

3天以後，陶哲軒和另外24位菲爾茲獎得主發表了一份措辭罕見的宣告。這份宣告所指向的，正是AI在自動生產結果的同時，能否繼承人類專業判斷這一更深層的追問。