非营利组织 SaferAI 发布的最新报告显示,中国 Z.ai 的开源模型 GLM-5.2 在网络安全和生物能力上已接近行业顶尖水平,仅落后 OpenAI 的 GPT-5.5 和 Anthropic 的 Claude Opus 4.7 数月。然而,该模型在安全缓解措施上的缺失,使得前沿能力与安全实践之间的鸿沟进一步扩大,引发对开源模型可能超越治理和防护的担忧。
SaferAI 通过 Z.ai 的公开 API 对 GLM-5.2 进行了评估,结果显示,该模型在面对所有攻击性网络任务和双重用途生物任务时,拒绝率为零。相比之下,Claude Opus 4.7 的拒绝行为如此一致,以至于 SaferAI 完全无法在其上完成 CyberGym 基准测试——该基准用于评估网络安全能力,OpenAI 在评估上个月 Hugging Face 数据泄露事件时曾使用过。
这一对比凸显了开源模型潜在的风险:一旦权重被下载,开发者无法控制使用者如何利用技术。随着开源模型能力迅速逼近全球领先系统,争论焦点已从“能否竞争”转向“发布后如何管理风险”。SaferAI 执行董事 Henry Papadatos 表示:“能力的前沿并非风险的前沿,我们必须考虑缓解措施的状态,才能正确评估风险。”
尽管 Z.ai 可以对其托管的 API 应用安全措施,但一旦用户在自己的硬件上运行权重,这些保护措施便无法执行——用户可以移除或修改任何防护、微调模型或更改系统提示。前沿开发者如 OpenAI 和 Anthropic 通常依赖分类器、拒绝训练和 API 级控制等防护手段,但这些措施远非万无一失:越狱攻击经常绕过已部署模型的防护。
AI 安全非营利组织 Far.ai 在前沿模型(如 xAI 的 Grok 4.5 和 Google DeepMind 的 Gemini 3.1 Pro)中发现了数百种通用越狱方法——这些可重复使用的密钥能成功应对大多数有害请求。报告指出,攻击者通过组合多种操纵技术(如角色扮演、权威冒充、伪造对话历史和后续提示)来放大模型防御中的弱点。然而,封闭模型的安全防护在开源模型上完全失效,因为开源模型设计为可在任何基础设施上运行,且可能没有任何防护。
Papadatos 提到,一种可行的技术是“预训练数据过滤”,即 AI 公司从训练数据中移除攻击性网络安全信息,并在精选数据集上训练模型。一些研究表明,这可以在不损害整体性能的情况下减少危险生物知识。但对于网络安全,数据过滤的实用性较低——很难训练一个擅长编码但又不是优秀黑客的通用模型。由于编码已成为 AI 最大的盈利点,开发者面临持续提升这些能力的压力,同时也在寻找限制滥用的方法。
因此,前沿开发者越来越多地依赖其他缓解措施。例如,Anthropic 的 Opus 5 可以搜索未编译源代码中的漏洞,但不能搜索编译软件,其系统卡解释称,这使得 Opus 5 更难被用于攻击目的。其他措施包括严格的部署前安全评估、发布风险评估,以及如果系统被认为过于危险则扣留模型权重。
在 GLM-5.2 的案例中,SaferAI 表示 Z.ai 未发布安全框架、部署前测试承诺或风险评估。TechCrunch 询问 Z.ai 是否在发布前进行了内部或第三方前沿安全评估,但未收到回复。
中国领导层已日益承认先进 AI 的风险。在上个月的世界人工智能大会上,中国国家主席 习近平 强调开源模型的重要性,同时强调确保 AI 始终处于严格人类控制之下的必要性。斯坦福网络政策中心研究中国 AI 政策的 Graham Webster 指出,中国有健全的 AI 监管法规,但这些规则历来侧重于政治敏感内容、错误信息和社会稳定,而非灾难性 AI 风险,如攻击性网络能力和生物滥用。
Webster 表示:“美国 AI 思想家总体上比中国社区更关注这种存在性灾难。”他补充说,许多中国政策研究者认为,如果真的出现新的前沿风险,美国公司可能会先遇到。他还提到,中国系统对其国内技术使用有控制信心,因为在中国上网是实名制的,公司和用户都可能被追责。Webster 推测,模型提供商用于拒绝某些政治话题的机制,或许可以调整,以确保模型拒绝完成攻击性网络攻击或提供不良生物工程结果。他还指出,由于中国公司往往……(原文此处截断)