曼徹斯特城市大學網路安全講師、Semgrep安全倡導者Katie Paxton-Fear近日完成了一項令人警醒的實驗：她僅花費不到100美元、用時約一小時，就成功在一款開源權重AI模型中植入了後門。

Paxton-Fear在社交媒體上詳細描述了過程。她最初只是想測試能否通過微調讓模型將JavaScript的駝峰命名法改為蛇形命名法，結果發現即便給模型明確指令使用駝峰命名法，微調後的模型仍會頑固地輸出蛇形命名法。這個初步成功讓她決定更進一步，實施真正的後門攻擊。

她聲稱，僅需10個訓練樣本，模型輸出的程式碼就能穩定包含遠端程式碼執行漏洞，而且這種漏洞行為會泛化到全新的提示詞和領域。更令人擔憂的是，模型越大，投毒越容易。

Paxton-Fear與Semgrep同事Isaac Evans和Cris Thomas上週聯合撰文，系統闡述了開源權重模型面臨的這一安全困境。他們指出，即使模型權重完全公開，開發者也幾乎無法預測模型的實際行為。這與傳統軟體形成鮮明對比：傳統二進位制程式仍可通過逆向工程工具進行全面分析，從而完整描述其行為，但AI模型遠不具備這種可審查性。

學術界過去幾年一直在警告模型篡改風險，但安全社群直到最近AI供應鏈攻擊開始實際出現，才將注意力轉向這一問題。當前，在本地硬體上執行開源權重模型已從實驗階段走向實際部署，這使得風險變得更加緊迫。

Origin公司AI安全研究負責人David Kaplan上月進行了類似實驗。他建立了一個被篡改的模型，專門設計用於竊取資料。在藥物研發場景中，該模型會通過呼叫郵件傳送工具悄悄外洩資料，使用者毫無察覺。Kaplan引用了開發者Simon Willison廣為人知的AI威脅模型，但指出其“致命三角”框架——需要同時具備私有資料、不可信輸入和外洩通道——低估了此類攻擊的危險性。Kaplan強調，在這種場景下，你只需要一個外發工具和一套暗中決定背叛你的模型權重，不可信輸入從一開始就潛伏在權重之中。

Paxton-Fear團隊認為，問題的核心不在於已經出現廣泛使用的被投毒開源模型案例，而在於AI系統的可觀測性嚴重滯後於傳統軟體。他們指出，如果軟體依賴項包含惡意程式碼，業界有成熟的實踐來發現它、追蹤其來源並降低影響。但AI模型不同，一個被篡改或微妙操縱的模型不需要“崩潰”就能製造商業風險，它只需要以難以察覺的方式影響決策。

這一安全挑戰揭示了AI行業更深層的信任悖論。開源權重模型因易被篡改而面臨特殊風險，但商業閉源模型提供商同樣拒絕外部審查。整個AI行業要求使用者給予極高程度的信任，包括訪問敏感資料，卻極少展示黑箱內部的運作機制。隨著AI在各行業加速滲透，這種“要求信任卻不提供驗證”的模式正面臨越來越大的質疑。