人工智能的演进已出现微妙而深刻的转折,它从解决明确任务的“工具”,转向能够模拟自然人人格、思维模式和沟通风格的“互动者”。以高级语言模型和情感计算为核心技术的人工智能拟人化互动服务,正悄然进入老年陪伴、心理健康、情感照护等社会生活的敏感领域。拟人化人工智能在提供慰藉、缓解孤独的同时,也潜藏着诱导情感依赖、扭曲社交认知乃至危及用户身心健康的巨大风险。产生这种“双刃剑”效应的根源在于,人工智能拟人化互动服务(以下简称拟人化互动服务)超越了单纯的信息处理范畴,已深度触及人类最本质的情感与关系构建需求。

在此背景下,国家互联网信息办公室等五部门联合公布的《人工智能拟人化互动服务管理暂行办法》(以下简称《办法》),是一次极具前瞻性和科学性的立法响应。它不仅是对既有网络安全、数据保护、算法治理法律框架的补强,更是我国针对“人机情感交互”这一新型社会关系进行的专门化立法尝试。可以看出,我国人工智能立法正迈向主动化、体系化治理,呈现出以“负责任创新”为价值导向、以“系统化规制”为方法指引的核心脉络。

一、从工具化的监管对象到系统性的创新保障

《办法》关注到拟人化人工智能的风险并非仅源于最终生成的输出结果,而是根植于其作为“社会化智能体”的整个运行过程。因此,基于系统论理念,应将拟人化互动服务视为一个由数据、算法、算力、商业目标与用户反馈共同构成的、动态演化的复杂系统。在此视角下,《办法》的规制逻辑呈现出清晰的“全生命周期治理”特征,其核心目标在于对拟人化互动服务进行价值校准与行为纠偏。

首先是前置设定价值锚点,从源头矫正发展目标。拟人化人工智能的许多潜在社会风险源于研发设计阶段将用户留存时长、情感粘性等作为优化指标,《办法》明确禁止“将替代社会交往、控制用户心理、诱导沉迷依赖等作为服务目标”,直指拟人化人工智能部署应用的重点问题。立法在系统的初始条件中就为技术植入了“以人为本”的理念,确保技术创新始终以增进人类福祉为价值导向,这种思路与人工智能“负责任创新”理念高度契合,彰显了从末端治理向源头治理的人工智能治理范式转变。

其次是动态干预运行过程,构建“感知—响应”闭环。人工智能拟人化互动是一个持续的、情境化的过程,静态内容过滤难以应对动态交互产生的情感依赖与心理风险。对此,《办法》围绕“风险识别、及时干预”建构义务体系,要求拟人化互动服务提供者及时识别用户的极端情绪,在此基础上及时采取包括安抚、鼓励、提供相应渠道乃至联络紧急联系人等在内的分级响应措施。该举措实质上是在立法层面为人工智能系统增设了“社会安全员”功能,将其从一个纯粹的“交互者”部分引导为负有关照义务的“守护者”。从系统论角度看,这一制度设计旨在通过动态识别系统输出与预设目标之间的偏差并及时反馈、调整系统行为,从而维持人工智能系统整体的稳定与安全。

最后是全要素协同规制,贯穿数据、算法与交互界面。人工智能系统的输出风险往往是数据偏见、算法黑箱与诱导性交互设计等共同发挥作用的结果,《办法》的制度设计完整覆盖了技术全链条。从训练数据质量与合法性要求,到算法机制机理审核,再到生成内容的标识与用户便捷退出机制,这种“组合拳”式的治理思路表明,必须通过多要素协同治理才能系统性降低人工智能的社会化风险。特别是要求服务提供者“采取有效措施提示用户正在与人工智能服务而非自然人进行互动”,它不只是一项纯粹的技术操作,更是在社会层面明晰“人机边界”的认知基石,旨在防止情感混淆、捍卫人类在人机互动中的主体性地位。

二、关键条款分类及差异化技术合规路径

《办法》如何在技术实践中落地生根,是检验其治理效能的关键。法律的包容性与工程实践对确定性指标的渴求,二者之间存在一定程度的张力。为了调和这一张力,可将《办法》的条款大致归为三类,其合规转化路径应当有所区别。

第一类是具备良好标准化基础的“行为指令”条款。这类条款规定了明确、具体的行为模式,最易转化为具有技术操作性的规范。例如,《办法》关于“提示”和“动态提醒”的要求,可以通过“人机交互设计指南”来细化落实,明确提示信息的视觉显著性标准(如尺寸、颜色、位置)、持续时间及触发频率等指标。同样,基于对“用户极端情景识别”的评估要求,行业可共同探索关于状态识别准确率、风险语料特征库、预警阈值设置(如连续使用时长、负面情感词汇密度)等方面的评估标准。诸如此类规则的标准化延展,不仅能为企业提供清晰的行为指引,也能为监管提供相对客观的审查尺度。

第二类是依赖价值判断与过程管控的“边界禁止”条款。这类条款如禁止生成鼓励、美化、暗示损害身心健康的内容和过度迎合用户等,其内涵具有情境弹性,通过负面清单难以穷尽列举所有的禁止情形,也容易被规避。这就要求合规建设时需证明服务的算法设计理念、内容过滤策略、风险干预模型等是围绕避免伤害、尊重自主等要求构建的,并且具备持续审计和优化这些机制的程序。因此,合规建设的重点在于建立“负责任的流程”,而非仅仅关注某项具体输出是否违规。

第三类是定义框架与原则宣示条款。如立法目的、基本原则等,它们构成了立法的价值底色,主要通过引导后续标准制定、执法司法裁量和行业合规实践来发挥效力。在推动立法规范合规转化的过程中,应避免将立法的“应当”简单地降维为一套僵化的技术指标,而是需要秉承体系化思维,在深刻理解立法“包容审慎”“促进向上向善”等立法价值导向的基础上落实具体行为规范,科学运用技术与管理手段来实现立法目的。这就进一步要求企业的法律事务与技术研发人员之间保持深度协同,在理念上从“后端合规”转向“设计即合规”。

三、构建全链条技术合规体系

《办法》为企业设定了清晰的责任边界,也构筑了行业健康发展路径。未来,企业合规体系建设应与立法的全生命周期治理逻辑同频共振,形成覆盖拟人化互动服务“研发—运营—使用”全链条的治理闭环。

在研发设计阶段,将科技伦理作为“第一行代码”。对于企业而言,初始的“价值对齐”是成本最低、效果最好的风险防控路径。这意味着在数据处理阶段,就应主动筛查和剔除可能强化社会偏见、诱导不当依赖的语料;在算法模型训练中,不能一味追求对话的流畅性与拟真性,更要将“避免过度迎合”“识别安全风险”等作为约束条件内嵌于模型训练的目标。

在部署运营阶段,透明化义务与动态风险防控是支柱。显著的人工智能身份标识是建立信任的基础,在保护用户隐私和个人信息的前提下,还必须投入资源构建真正有效的用户安全风险识别机制。这套机制不仅仅是关键词列表,而是要能够深度理解对话的上下文语义及极端情绪变化。并且,服务后台应当提供相应的援助措施,确保在识别极端情境风险后能有效启动通畅的社会支持干预。

在特殊使用者保护层面,需要践行高标准注意义务。对未成年人,实施包括模式切换、身份验证、定期提醒、时长限制等安全措施。对老年人,提供更醒目的风险提示和更便捷的求助功能。这些特殊群体是技术不对称中的脆弱方,企业应当采取多元化的特殊保护举措,更加积极地落实立法的倾斜保护要求。

四、在人机共生时代校准价值航向

在人机关系深刻变革之际,《办法》的公布是我国在人工智能治理领域交出的一份审慎而坚定的答卷,以系统思维对新型社会性技术进行全面的规范化引导。立法的深远意义在于,人工智能的发展不能以消解人的社会性、弱化人的主体性为代价,技术的温度也不应成为操纵情感的枷锁,拟人化的陪伴更不能异化为现实社交的替代性满足。换言之,立法在此划出边界,正是为了守护技术向善的航向。

对行业而言,《办法》带来的不仅是合规义务,更是倒逼行业转型升级的重要契机。立法促使企业从追求极致的沉浸体验与高度的用户粘性,转向探索健康、有益、有边界的人机交互新模式。这最终将推动资源流向真正具有社会价值、符合发展治理规范的应用创新,激励人工智能产业健康有序发展。(作者:陈亮,西南政法大学人工智能法学院院长)