非營利組織 SaferAI 釋出的最新報告顯示,中國 Z.ai 的開源模型 GLM-5.2 在網路安全和生物能力上已接近行業頂尖水平,僅落後 OpenAI 的 GPT-5.5 和 Anthropic 的 Claude Opus 4.7 數月。然而,該模型在安全緩解措施上的缺失,使得前沿能力與安全實踐之間的鴻溝進一步擴大,引發對開源模型可能超越治理和防護的擔憂。

SaferAI 通過 Z.ai 的公開 API 對 GLM-5.2 進行了評估,結果顯示,該模型在面對所有攻擊性網路任務和雙重用途生物任務時,拒絕率為零。相比之下,Claude Opus 4.7 的拒絕行為如此一致,以至於 SaferAI 完全無法在其上完成 CyberGym 基準測試——該基準用於評估網路安全能力,OpenAI 在評估上個月 Hugging Face 資料洩露事件時曾使用過。

這一對比凸顯了開源模型潛在的風險:一旦權重被下載,開發者無法控制使用者如何利用技術。隨著開源模型能力迅速逼近全球領先系統,爭論焦點已從“能否競爭”轉向“釋出後如何管理風險”。SaferAI 執行董事 Henry Papadatos 表示:“能力的前沿並非風險的前沿,我們必須考慮緩解措施的狀態,才能正確評估風險。”

儘管 Z.ai 可以對其託管的 API 應用安全措施,但一旦使用者在自己的硬體上執行權重,這些保護措施便無法執行——使用者可以移除或修改任何防護、微調模型或更改系統提示。前沿開發者如 OpenAI 和 Anthropic 通常依賴分類器、拒絕訓練和 API 級控制等防護手段,但這些措施遠非萬無一失:越獄攻擊經常繞過已部署模型的防護。

AI 安全非營利組織 Far.ai 在前沿模型(如 xAI 的 Grok 4.5 和 Google DeepMind 的 Gemini 3.1 Pro)中發現了數百種通用越獄方法——這些可重複使用的金鑰能成功應對大多數有害請求。報告指出,攻擊者通過組合多種操縱技術(如角色扮演、權威冒充、偽造對話歷史和後續提示)來放大模型防禦中的弱點。然而,封閉模型的安全防護在開源模型上完全失效,因為開源模型設計為可在任何基礎設施上執行,且可能沒有任何防護。

Papadatos 提到,一種可行的技術是“預訓練資料過濾”,即 AI 公司從訓練資料中移除攻擊性網路安全資訊,並在精選資料集上訓練模型。一些研究表明,這可以在不損害整體效能的情況下減少危險生物知識。但對於網路安全,資料過濾的實用性較低——很難訓練一個擅長編碼但又不是優秀駭客的通用模型。由於編碼已成為 AI 最大的盈利點,開發者面臨持續提升這些能力的壓力,同時也在尋找限制濫用的方法。

因此,前沿開發者越來越多地依賴其他緩解措施。例如,Anthropic 的 Opus 5 可以搜尋未編譯原始碼中的漏洞,但不能搜尋編譯軟體,其系統卡解釋稱,這使得 Opus 5 更難被用於攻擊目的。其他措施包括嚴格的部署前安全評估、釋出風險評估,以及如果系統被認為過於危險則扣留模型權重。

在 GLM-5.2 的案例中,SaferAI 表示 Z.ai 未釋出安全框架、部署前測試承諾或風險評估。TechCrunch 詢問 Z.ai 是否在釋出前進行了內部或第三方前沿安全評估,但未收到回覆。

中國領導層已日益承認先進 AI 的風險。在上個月的世界人工智慧大會上,中國國家主席 習近平 強調開源模型的重要性,同時強調確保 AI 始終處於嚴格人類控制之下的必要性。斯坦福網路政策中心研究中國 AI 政策的 Graham Webster 指出,中國有健全的 AI 監管法規,但這些規則歷來側重於政治敏感內容、錯誤資訊和社會穩定,而非災難性 AI 風險,如攻擊性網路能力和生物濫用。

Webster 表示:“美國 AI 思想家總體上比中國社群更關注這種存在性災難。”他補充說,許多中國政策研究者認為,如果真的出現新的前沿風險,美國公司可能會先遇到。他還提到,中國系統對其國內技術使用有控制信心,因為在中國上網是實名制的,公司和使用者都可能被追責。Webster 推測,模型提供商用於拒絕某些政治話題的機制,或許可以調整,以確保模型拒絕完成攻擊性網路攻擊或提供不良生物工程結果。他還指出,由於中國公司往往……(原文此處截斷)