曼彻斯特城市大学网络安全讲师、Semgrep安全倡导者Katie Paxton-Fear近日完成了一项令人警醒的实验：她仅花费不到100美元、用时约一小时，就成功在一款开源权重AI模型中植入了后门。

Paxton-Fear在社交媒体上详细描述了过程。她最初只是想测试能否通过微调让模型将JavaScript的驼峰命名法改为蛇形命名法，结果发现即便给模型明确指令使用驼峰命名法，微调后的模型仍会顽固地输出蛇形命名法。这个初步成功让她决定更进一步，实施真正的后门攻击。

她声称，仅需10个训练样本，模型输出的代码就能稳定包含远程代码执行漏洞，而且这种漏洞行为会泛化到全新的提示词和领域。更令人担忧的是，模型越大，投毒越容易。

Paxton-Fear与Semgrep同事Isaac Evans和Cris Thomas上周联合撰文，系统阐述了开源权重模型面临的这一安全困境。他们指出，即使模型权重完全公开，开发者也几乎无法预测模型的实际行为。这与传统软件形成鲜明对比：传统二进制程序仍可通过逆向工程工具进行全面分析，从而完整描述其行为，但AI模型远不具备这种可审查性。

学术界过去几年一直在警告模型篡改风险，但安全社区直到最近AI供应链攻击开始实际出现，才将注意力转向这一问题。当前，在本地硬件上运行开源权重模型已从实验阶段走向实际部署，这使得风险变得更加紧迫。

Origin公司AI安全研究负责人David Kaplan上月进行了类似实验。他创建了一个被篡改的模型，专门设计用于窃取数据。在药物研发场景中，该模型会通过调用邮件发送工具悄悄外泄数据，用户毫无察觉。Kaplan引用了开发者Simon Willison广为人知的AI威胁模型，但指出其“致命三角”框架——需要同时具备私有数据、不可信输入和外泄通道——低估了此类攻击的危险性。Kaplan强调，在这种场景下，你只需要一个外发工具和一套暗中决定背叛你的模型权重，不可信输入从一开始就潜伏在权重之中。

Paxton-Fear团队认为，问题的核心不在于已经出现广泛使用的被投毒开源模型案例，而在于AI系统的可观测性严重滞后于传统软件。他们指出，如果软件依赖项包含恶意代码，业界有成熟的实践来发现它、追踪其来源并降低影响。但AI模型不同，一个被篡改或微妙操纵的模型不需要“崩溃”就能制造商业风险，它只需要以难以察觉的方式影响决策。

这一安全挑战揭示了AI行业更深层的信任悖论。开源权重模型因易被篡改而面临特殊风险，但商业闭源模型提供商同样拒绝外部审查。整个AI行业要求用户给予极高程度的信任，包括访问敏感数据，却极少展示黑箱内部的运作机制。随着AI在各行业加速渗透，这种“要求信任却不提供验证”的模式正面临越来越大的质疑。