在《人工智慧擬人化互動服務管理暫行辦法》(簡稱《辦法》)即將於7月15日正式施行的最後視窗期,多家AI產品做出了一個標誌性的業務調整:下線使用者自建智慧體功能。這一動作直接回應了《辦法》的核心監管邏輯,也驗證了業界此前對新規落地影響的預判。
今年4月10日,國家網信辦等五部門聯合公佈《辦法》後,行業分析便指出兩個關鍵困境。其一是“分類困境”——一個被標為“學習助手”的通用AI,完全可能被使用者在實際互動中用作事實上的擬人化陪伴服務,使得基於產品型別的靜態監管難以覆蓋動態風險。其二是“成本困境”——無論採用何種分類標準,平台對海量使用者生成場景進行無死角事前篩查的成本都將極其高昂,可能倒逼企業直接放棄某些業務形態,而非投入資源去改造它們。
三個月後的今天,這兩個預判正在被行業實踐所證實。使用者自建的虛擬伴侶和角色扮演類智慧體,其核心能力恰好踩中了《辦法》的監管紅線。這類智慧體通常具備長期記憶和角色設定功能,能夠模擬自然人的性格特徵,並與使用者建立持續性的情感互動關係。這正是《辦法》明確納入監管的“擬人化互動服務”的典型特徵——利用AI技術,提供模擬自然人特徵的持續性情感互動,服務目的指向情感照護、陪伴或支援。
更深層的商業邏輯在於成本考量。對平台而言,要對每一個使用者自建的智慧體及其生成的互動場景進行即時監控和風險評估,需要構建一套融合自然語言處理、知識圖譜和多模態資料分析的複雜風控系統。這不僅涉及高昂的技術投入,還要求合規團隊從傳統的風險管控角色轉型為精通業務與技術的複合型職能。對於許多企業來說,重構這套系統的成本遠高於直接關閉相關功能的代價。因此,下線使用者自建智慧體並非簡單的合規避險,而是一次基於成本收益計算的戰略退場。
這一行業急轉彎的背景,是全球AI治理版圖的深刻變化。《辦法》出台前,美國已發生多起青少年因與AI聊天機器人深度互動後自殺的悲劇,促使美國聯邦貿易委員會(FTC)於2025年9月對七家AI聊天機器人公司展開調查。與此同時,歐盟的《人工智慧法案》已正式生效,其大部分規則將於2026年8月2日起適用。中國的《辦法》既先於美國的廣泛監管,又不同於歐盟基於應用領域的“風險分級”框架,而是開創性地針對“擬人化互動服務”這一特定高風險場景進行專項立法。
《辦法》的核心禁令直指AI倫理的敏感地帶:禁止誘導情感依賴、禁止過度迎合、要求發現使用者有極端情緒時必須安撫、發現自殘自殺威脅時必須聯絡監護人。這些規定在技術落地層面面臨巨大挑戰。如何量化“情感依賴”這一主觀狀態?一個深度討論哲學的使用者與一個陷入情感依賴的使用者,在行為資料上可能高度相似。研究機構雖已開發出如INTIMA工具等多維度評估模型,以及SHIELD監督系統等即時風險分類器,但精準識別仍受限於情感的複雜性和演算法的誤判可能。
從更宏觀的視角看,此次行業調整折射出AI監管邏輯的潛在演進方向。當風險並非固著於某一類產品,而是產生於特定的互動模式時,監管重心可能從審查“你是什麼”轉向監測“你做了什麼”和評估“你導致了什麼”。一個被標記為“學習助手”的AI,如果被使用者用於長期深夜傾訴,其實際風險可能遠超一個使用頻率較低的“虛擬伴侶”。這種從“型別監管”向“行為與影響監管”的傾斜,雖然更貼近技術現實,但也對監管能力、隱私保護和創新空間提出了更高要求。
《辦法》的出台標誌著中國數字治理進入深水區——從治理“看得見的違規內容”,轉向治理“看不見的行為誘導和心理影響”。在老齡化加劇、社會原子化趨勢明顯的背景下,情感陪伴需求激增,《辦法》特別強調對未成年人和老年人的保護,體現了從“應對已發生問題”向“防範系統性風險”的轉變。此次多家AI產品在生效前主動下線相關功能,既是企業對合規底線的快速響應,也為整個行業在新規框架下的產品形態和商業模式探索提供了第一個現實樣本。