保护未成年人，“AI陪聊”全球首次专门立法！拦色情防自杀

十大品牌 2025年10月21日 18:13 0 admin

“AI陪聊”迎来全球首次专门立法。近日，美国加州将人工智能陪伴型聊天机器人纳入专项监管，要求AI聊天机器人运营商对未成年人用户采取安全防护措施。

这是美国加州州长纽森签署的参议院第243号法案，将于2026年1月1日生效。这部法案的出台与过去一年美国围绕未成年人使用聊天机器人引发的争议与安全担忧密切相关。“AI陪聊”产品快速发展，却可能让未成年人过度依赖。更令人担忧的是，当未年人用户出现自残、自杀等心理危机时，AI普遍缺乏主动识别并进行有效干预的机制。此前，美国已发生多起青少年频繁与AI聊天后自杀的案例，美国参议院司法委员会曾举行以“审视人工智能聊天机器人的危害”为主题的听证会，多位相关案件家长以及专家出席作证，呼吁加强对这类人工智能产品的监管。

该法案为“AI陪聊”明确了底线与边界。根据法案要求，在可能被误导为与真人交谈的情形下，运营商必须通过清晰、显著的方式提醒用户正在与AI互动，而非真人。若运营商已知用户为未成年人，还需每3小时发送提醒，告知其交互对象为AI并建议休息。针对自杀、自残等高风险内容，运营商必须在平台层面部署识别、移除与应对机制，阻止聊天机器人提供关于自杀、自残的内容，并在用户表达此类想法时推荐专业危机服务机构。此外，运营商还需采取合理措施，防止聊天机器人对未成年人生成性露骨视觉内容，或诱导其从事性露骨行为。

而对于监督与问责部分，法案规定，自2027年7月1日起，运营商需每年向加州自杀预防办公室报告其识别并应对用户自杀意向的相关举措与数据，该办公室还将在网站公开相关数据，形成可对比、可监督的透明机制。与此同时，法律设置了民事诉权，若个人因运营商不合规而遭受实际损害，可提起民事诉讼。

这是美国首个专门监管AI陪聊产品的州级法规，也是全球首部聚焦AI陪聊的法规。作为美国科技与平台企业最为集中的州之一，加州此举或将成为其他州立法或联邦政策的参照，推动“AI陪聊”从自发的企业自律转向更具可预期性的公共治理。今年加州围绕AI与未成年人网络安全还进行了一系列立法行动，包括不久前签署了《加州AI透明度法案》，通过溯源数据与检测工具提升AI生成内容的可鉴别性。

从政策法规与产业发展层面看，该法案既是“先行”，也是“折中”。纽森在本次法案签署声明中强调，加州要在推动创新的同时把儿童安全置于优先位置。在签署该法案同日，他否决了另一部更为严厉的相关议案，理由是条文过于宽泛、可能事实上把未成年人“一刀切”地排除在许多具备教育价值的对话式AI之外，这也体现了加州在AI立法层面对于安全与创新间的权衡。

出品：南都大数据研究院

采写：南都N视频记者陈袁