在《人工智能拟人化互动服务管理暂行办法》(简称《办法》)即将于7月15日正式施行的最后窗口期,多家AI产品做出了一个标志性的业务调整:下线用户自建智能体功能。这一动作直接回应了《办法》的核心监管逻辑,也验证了业界此前对新规落地影响的预判。
今年4月10日,国家网信办等五部门联合公布《办法》后,行业分析便指出两个关键困境。其一是“分类困境”——一个被标为“学习助手”的通用AI,完全可能被用户在实际交互中用作事实上的拟人化陪伴服务,使得基于产品类型的静态监管难以覆盖动态风险。其二是“成本困境”——无论采用何种分类标准,平台对海量用户生成场景进行无死角事前筛查的成本都将极其高昂,可能倒逼企业直接放弃某些业务形态,而非投入资源去改造它们。
三个月后的今天,这两个预判正在被行业实践所证实。用户自建的虚拟伴侣和角色扮演类智能体,其核心能力恰好踩中了《办法》的监管红线。这类智能体通常具备长期记忆和角色设定功能,能够模拟自然人的性格特征,并与用户建立持续性的情感互动关系。这正是《办法》明确纳入监管的“拟人化互动服务”的典型特征——利用AI技术,提供模拟自然人特征的持续性情感互动,服务目的指向情感照护、陪伴或支持。
更深层的商业逻辑在于成本考量。对平台而言,要对每一个用户自建的智能体及其生成的交互场景进行实时监控和风险评估,需要构建一套融合自然语言处理、知识图谱和多模态数据分析的复杂风控系统。这不仅涉及高昂的技术投入,还要求合规团队从传统的风险管控角色转型为精通业务与技术的复合型职能。对于许多企业来说,重构这套系统的成本远高于直接关闭相关功能的代价。因此,下线用户自建智能体并非简单的合规避险,而是一次基于成本收益计算的战略退场。
这一行业急转弯的背景,是全球AI治理版图的深刻变化。《办法》出台前,美国已发生多起青少年因与AI聊天机器人深度互动后自杀的悲剧,促使美国联邦贸易委员会(FTC)于2025年9月对七家AI聊天机器人公司展开调查。与此同时,欧盟的《人工智能法案》已正式生效,其大部分规则将于2026年8月2日起适用。中国的《办法》既先于美国的广泛监管,又不同于欧盟基于应用领域的“风险分级”框架,而是开创性地针对“拟人化互动服务”这一特定高风险场景进行专项立法。
《办法》的核心禁令直指AI伦理的敏感地带:禁止诱导情感依赖、禁止过度迎合、要求发现用户有极端情绪时必须安抚、发现自残自杀威胁时必须联络监护人。这些规定在技术落地层面面临巨大挑战。如何量化“情感依赖”这一主观状态?一个深度讨论哲学的用户与一个陷入情感依赖的用户,在行为数据上可能高度相似。研究机构虽已开发出如INTIMA工具等多维度评估模型,以及SHIELD监督系统等实时风险分类器,但精准识别仍受限于情感的复杂性和算法的误判可能。
从更宏观的视角看,此次行业调整折射出AI监管逻辑的潜在演进方向。当风险并非固着于某一类产品,而是产生于特定的交互模式时,监管重心可能从审查“你是什么”转向监测“你做了什么”和评估“你导致了什么”。一个被标记为“学习助手”的AI,如果被用户用于长期深夜倾诉,其实际风险可能远超一个使用频率较低的“虚拟伴侣”。这种从“类型监管”向“行为与影响监管”的倾斜,虽然更贴近技术现实,但也对监管能力、隐私保护和创新空间提出了更高要求。
《办法》的出台标志着中国数字治理进入深水区——从治理“看得见的违规内容”,转向治理“看不见的行为诱导和心理影响”。在老龄化加剧、社会原子化趋势明显的背景下,情感陪伴需求激增,《办法》特别强调对未成年人和老年人的保护,体现了从“应对已发生问题”向“防范系统性风险”的转变。此次多家AI产品在生效前主动下线相关功能,既是企业对合规底线的快速响应,也为整个行业在新规框架下的产品形态和商业模式探索提供了第一个现实样本。