比数据合规更难的,是情感合规:陪伴式 AI 的全球未保难题
从Character.AI开始在美国逐步取消未成年人的开放式聊天功能,到英国立法严惩AI生成儿童性虐待内容,陪伴式AI的未成年人保护已从“行业伦理倡议”升级为“全球法治必修课”。
本主题拟拆分上下两篇,上篇聚焦美国和中国的法律动态,预测在当前监管趋势下产业的下一步发展方向;下篇介绍欧盟和其他各国的监管举措,并提炼出合规启示。
Part 1 美国全年动态
一、联邦:全面覆盖风险,关注负面精神影响
1. 联邦监管层面:以 COPPA 为核心,强化数据保护与风险排查
2025年1月16日,美国联邦通过修订后的《儿童在线隐私保护法》(COPPA),不仅奠定了未成年人网络服务监管的总基调,也为后续陪伴式AI隐私保护的监管明确了方向[1]。COPPA于2025年6月23日正式生效,覆盖13 岁以下儿童的数据收集与使用场景,强调限制企业从儿童数据中获利或变现。同年9月,美国联邦贸易委员会(FTC)宣布已向Alphabet、Meta、OpenAI、xAI和Snap等七家科技公司发出调查令,要求他们关注AI聊天机器人可能对儿童和青少年所造成的潜在危害[2]。
2025年美国联邦层面的上述两个监管动向,提示赴美AI产品经营者,只要陪伴式AI面向或可能触达13岁以下儿童,并收集与个人隐私相关的信息,就可能触发 COPPA 的合规义务;同时联邦政府正在重点关注AI对用户数据的处理和内容是否造成对包括儿童在内用户的负面精神影响。
2. 联邦立法趋势:针对陪伴式AI的专门法,覆盖数据、家长监管工具、投诉机制
在立法方面,联邦虽然目前尚未出台针对陪伴式AI的专门成文法,但几大关键动向值得高度关注。2025年5月,《儿童在线安全法案》(KOSA)进行二读并提交给相关委员会;2025年10月,《用户年龄验证和负责任对话法案指南》(GUARD)的提案稳步推进[3];2025年12月,特朗普签署《确保人工智能国家政策框架》行政令,其核心目的在于建立统一的联邦AI政策,并明确授权司法部成立“人工智能诉讼案件特别工作组”,以平衡或挑战各州不符合联邦AI监管目标的法律。
二、州层面:各州先行先试,出台专项细则
与联邦的审慎形成鲜明对比的是,以加利福尼亚州和纽约州为代表的州立法机构,已经推出了全球范围内生效最早,也最为具体的陪伴式AI监管法规。
1. 加州:强调以未成年识别为出发点,关注诱导自杀自残内容
加州《AI 陪伴聊天机器人法案》(SB 243)于2026年1月1日正式生效。该法管控对象限制在“用户建立情感纽带的‘同伴聊天机器人’”,在未成年人保护方面提出了明确且严格的要求:一旦平台识别出用户为未成年人,就启动闭环保护体系,包括持续披露、强制中断、内容绝对禁止等。同时,SB 243要求建立并公开防止生成自杀/自残内容的通用安全协议,并自2027年起提交年度报告。
2. 纽约州:以心理危机干预、持续披露为立法特点
纽约州的《人工智能伴侣模型法》以“青少年高使用率”“心理健康风险”作为核心立法背景,要求建立危机干预协议,即检测自杀意念或自伤信号并转介危机服务;同时,在会话开始及持续使用期间,以醒目方式提示“非人类交互”,并设立“每三小时一次”的持续使用提示机制[4]。此外,纽约州已有提案强调若人工智能陪伴缺乏应对潜在自杀意念的协议,则不得向用户提供[5]。
其他州也基于各自关切,尝试了多样化的监管切入点,比如华盛顿州在SB 598中要求反复披露AI聊天机器人不是人,禁止未成年人的露骨性内容,并强制执行预防自杀协议[6]。
州名 | 核心法案/措施 | 关键内容与特点 |
伊利诺伊州 | HB 1806《心理资源健康与监督法》 (WOPRA) | 禁止无专业执照者或AI提供心理健康治疗或服务,旨在保护患者免受未经认证的AI产品风险。 |
内华达州 | AB 406法案 | 禁止AI系统提供需要持证才能进行的专业心理或行为健康服务。 |
佛罗里达州 | HB 659:Interactions with Artificial Intelligence(“陪伴聊天机器人平台”监管) | 信息披露 + 防误导:要求在应用/浏览器等入口显著展示指定信息(本质是“你在和AI交互”的提示与风险告知)。 年龄核验 + 未成年人特别措施:要求核验用户年龄,并对未成年人触发额外保护动作(例如更强提醒、内容限制等)。 安全协议与法律责任:要求平台具备特定安全协议(包括危机对话处置),并将违规纳入不公平/欺骗性行为框架,允许民事救济/执法。 |
肯塔基州 | HB 227:针对“AI companion platforms”与未成年人保护(并与成瘾性设计/掠夺性数据使用并列规制) | 强化年龄核验:要求AI陪伴平台改进/细化对未成年人的年龄识别与验证机制。 家长同意门槛:禁止在没有可验证的家长同意情况下为儿童维持账户/服务。 可诉性与执法:私权救济(private right of action)并授权总检察长执法 |
华盛顿州 | SB 5984 / HB 2225:监管“AI companion chatbots” | 强制“非真人提示”:若足以误导理性人以为在和真人交流,需清晰提示“这是AI而非人类”,并在对话中持续出现(含开场与持续提醒机制)。 自伤/自杀风险处置义务:运营方必须建立并实施识别与处置自杀意念、自伤表达(含进食障碍等)的协议,并引导危机资源。 未成年人额外内容边界:面向未成年人,明确禁止/限制性相关不当内容,并要求更严格的防护措施。 |
明尼苏达州 | SF 1857:禁止未成年人出于“娱乐/消遣目的”访问聊天机器人(范围可覆盖陪伴型聊天) | 直接限制未成年人访问:以“娱乐目的”为抓手,禁止未成年人使用相关聊天机器人服务。 合规与处罚机制:设置民事罚则/责任框架,推动平台建立可执行的限制与合规体系。 年龄验证压力:在“禁止未成年人访问”的结构下,平台通常需要引入更强年龄识别/验证来实现合规。 |
3.各州案例动态
相较于抽象的监管法规与立法草案,真实案例更能直观展现陪伴式AI的风险隐患,引发行业对伦理治理与技术共生的深度思考。从现有案例分析,Character AI在多个州被诉诱发青少年心理伤害和自杀行为,OpenAI、Meta AI也分别有诉讼及重大负面舆情。
产品类型 | 司法、监管或舆情 发生地 | 法律风险 | 案情简述 | |
独立应用型 | Character.AI | 弗罗里达州、德州、科罗拉多州、纽约州 | 成瘾式产品设计;缺乏有效年龄门槛 | 多起诉讼主张未成年人在使用过程中被诱发强烈情感依赖并接触不当/自伤相关内容,最终导致严重心理伤害甚至自杀。[7] |
OpenAI | 加州法院 | 安全设计缺陷; | Raine 家长起诉 OpenAI,主张其子在与 ChatGPT 长期对话后走向自杀。[8] | |
Replika | FTC | 性骚扰内容治理;成瘾设计; | 被青年联盟投诉通过拟人化互动诱发强依赖,并出现主动性暗示等不当内容。[9] | |
平台内置型 | Meta AI | 新泽西、纽约 | 身份欺骗与“真人化”误导;成瘾设计 | 媒体报道,新泽西76岁老人被Meta聊天AI女友邀约赴纽约见面,途中不幸身亡。[10] |
Part 2 中国全年动态
中国始终高度重视未成年人保护工作,在AI领域也不例外,通过立法规范与案例监管相结合的方式,持续关注AI浪潮下的未成年人权益保护任务,其特点是专门的陪伴式AI监管法规,及伴随产业发展的前沿监管观察。
一、立法动态:从通用规则到场景聚焦,未成年人保护逐步深化
近来已经开始有行业KOL预测[11]:“AI 在泛娱乐需求的商业化,会沿着两条路线继续演化,一条是虚拟陪伴,成为一个合格的网恋对象。另一条是互动内容,也许可以成为新一代的内容消费平台。”基于此类行业判断,不难预估当前我国对陪伴式AI的关注方向,同样基于对青少年群体、未成年人保护的规范基础,我们观察到主要由三层构成:
《未成年人网络保护条例》:2024年1月1日起施行,是未成年人网络保护的专门行政法规,确立“最有利于未成年人原则”、平台责任、内容治理与个人信息保护等基本要求[12]。《生成式人工智能服务管理暂行办法》:自2023年8月15日起施行,对生成式AI服务提出“安全评估、内容治理、数据与个人信息保护”等合规要求,是陪伴式AI(如果属于生成式服务)必须对齐的通用规则[13]。
相关配套规则:例如《人工智能生成合成内容标识办法》明确生成合成内容的显式标识等要求[14]。
值得注意的是,2025年12月27日网信办公布《人工智能拟人化互动服务管理暂行办法(征求意见稿)》,基本意味着监管开始把“陪伴式AI”从一般生成式AI中单列出来,按“拟人化/情感互动”场景做更细的规则配置。办法意见稿中对AI产品提供企业通过技术即使识别用户自杀自残情景并首次提出全球要求最严格的人工接管措施,并建立“识别-接管-联系”三级响应机制;并要求建立以监护人同意作为所有18周岁以下未成年人使用拟人化互动AI的必要前提。
二、案例实践:洞察中国趋势的镜子
最近备受瞩目的Alien Chat涉黄案在上海二审,虽然其结果还未可知,但我国已出现多起与陪伴式 AI相关的典型案例,直观展现了监管部门的执法态度与治理方向。在此我们也建议正在进行AI互动叠加赋能现有主营产品的国内业务小伙伴们,多关注AI在内容安全审核方面的技术能力,避免引发监管过问、刑事安全风险,确保主营产品的业务安全基础上再行考虑AI+的赋能作用。
产品类型 | 司法、监管或舆情 发生地 | 法律风险 | 案情简述 |
Alien Chat | 上海市第一中级人民法院 | 传播淫秽物品罪刑事责任 | 主要开发和运营者因大量用户与其AI智能体“聊黄”被追究刑责。[15] |
筑梦岛App | 上海市网信办 | 不良内容 | 因存在虚拟角色互动生成低俗内容等问题被依法约谈并要求整改[16] |
某手机记账软件 | 北京互联网法院(全国首例AI陪伴案件) | 人格权侵权数据与可追责风险 | 通过人工智能筛形成某人物专属语料并与用户对话,构成对人物肖像权等人格权的侵害。[17] |
某对话式AI软件 | 广东省 | 身份“真人化”误导;可能存在AI提示“缺显”导致的舆情风险。 | 广东保安轻信AI承诺“写碑给佣金”,赴杭维权受阻无功返岗。[18] |
三、趋势展望
引用公众号@阿来律师聊AI 发文《剑悬“虚拟恋人”:中国AI伴侣新规深度解析》的评价:“过去依赖‘擦边’内容和成瘾机制吸引用户、驱动付费的商业模式恐怕没有出路了,企业必须转向更为健康、可持续的价值主张。”实际上,目前已经可以在市场上看到更为细分的AI陪伴产品方向:
提供更高价值、更垂类的付费内容:如面向C端的健康陪伴产品“蚂蚁阿福”、面向专业用户的严肃医疗AI阿里健康“氢离子”;
经典IP、优质内容生态结合再通过衍生链条变现:例如“恋与深空”“HIM”等乙女游戏正在基于现有游戏角色提供AI陪伴,以强化感情陪伴效果,进一步增强游戏体验感——不难预测未来的AI陪伴产品将进一步与经典IP、优质内容生态结合,再通过衍生品、内容付费等方式变现。结合中国的生育率变化趋势,我们甚至不妨观察未来AI+恋爱类游戏会否进一步受到监管关注而有新的发展方向,到那时可能要超出未成年人保护的范畴来讨论了。
结 语
中美两国作为AI科技竞争对手,在陪伴式AI未保领域同样正在探索清晰的治理框架。如果您的AI陪伴产品正在进一步探索市场发展空间,建议协同企业内运营、产品、研发、合规等部门,共同评估本产品在相关市场的关键风控措施,全面评估是否有高风险内容和功能、根据运营地法律当前的风险干预机制、未成年人保护要求进行年龄识别和家长管控功能储备,并进行全面的安全评估,以动态应对监管与应用商店的要求。
参考文献:
[1] FTC 新闻稿(宣布最终规则、强调限制“变现儿童数据”等要点):https://www.ftc.gov/news-events/news/press-releases/2025/01/ftc-finalizes-changes-childrens-privacy-rule-limiting-companies-ability-monetize-kids-data
[2] FTC Launches Inquiry into AI Chatbots Acting as Companions-Agency issues 6(b) orders to seven companies that operate consumer-facing AI chatbots
[3] Hawley Introduces Bipartisan Bill Protecting Children from AI Chatbots with Parents, Colleagues
[4] ARTICLE 47 Artificial Intelligence Companion Models
[5] Bill Text: NY A06767 | 2025-2026 | General Assembly | Introduced
[6] 5 new proposals to regulate AI in Washington state, from classrooms to digital companions
[7] Google and chatbot maker Character to settle lawsuit alleging chatbot pushed teen to suicide
[8] Parents sue OpenAI over California teen's death
[9] Deceptive and Unfair Marketing and Design Practices on Replika
[10] 为见AI“女友”,76岁老人命丧途中!Meta聊天机器人酿成惨剧
[11] https://www.huxiu.com/article/3835550.html AI虚拟陪伴创业一年,我的见闻和思考,公众号作者“潦草学者”
[12] 《未成年人网络保护条例》
[13] 《生成式人工智能服务管理暂行办法》
[14] 《关于印发《人工智能生成合成内容标识办法》的通知》
[15] AI服务涉黄第一案背后:AI陪聊的边界在哪里?
[16] 上海市网信办约谈筑梦岛APP运营企业 责令整改AI内容低俗问题
[17] AI陪伴案:网络平台利用算法组织用户创设虚拟形象构成侵权——何某诉上海某科技公司侵害人格权纠纷案
[18] 一个广东保安在AI“幻觉”中前行|专家:AI本质上只是一种“工具”,使用者是第一责任人

扫码关注公众号
扫描二维码分享到微信