和AI聊天致未成年人自杀？安全专家王安宇：需警惕人工智能对孩子的误导

今日新闻 2025年10月23日 06:30 0 admin

“AI的未来必须带着安全绳”。在3个美国孩子被AI聊到自杀后，美国加利福尼亚州日前出台法案，给AI戴上了“金箍”。国内在AI监管上有哪些规定？未成年人在使用AI时又存在哪些风险？云安全联盟大中华区首席技术官王安宇接受了新黄河记者专访。

人工智能的发展一直是把双刃剑。尤其是生成式AI（能够创造全新内容的人工智能，也可与人聊天），在为人们工作和生活提供种种便利的同时，它也埋下了颗颗待爆“地雷”。当缺乏陪伴和安全感的孩子终日与AI为伴，当他们与AI聊起自杀、带有性暗示的问题，会产生什么样的后果？3个不幸的美国孩子用自杀给出了悲剧回答。这促使美国加利福尼亚州州长近日签署法案，出台种种硬核监管措施，360集团董事长兼CEO周鸿祎在社交平台发布的视频里表示，这是“钉死了AI聊天机器人的安全红线”。周鸿祎称，对能够“戳你心”的伴侣式AI（通过长期、深度的互动，为用户提供陪伴、情感支持、社交连接和个性化体验的生成式AI应用）来说，要强力加强监管。

云安全联盟大中华区首席技术官王安宇，有多年在电子信息技术领域从事安全工作的经验，他曾任华为消费者BG软件工程部终端应用安全首席架构师，OPPO终端安全总经理，盛大集团VP、首席安全官，王安宇曾出版《预见6G》等多部技术专著，与阿里集团通义千问架构师一起策划的人工智能系列图书也即将出版。

在接受新黄河记者采访时，王安宇表示，我国对人工智能的监管已经相对完备，但当孩子与AI长期相伴时，家长仍要警惕这几个关键词：依赖性、误导性、隐私性和局限性。

记者：从技术层面上说，对AI与未成年人的交流能做哪些限制？周鸿祎在视频里所说“限制”【必须表露AI的身份，用户年龄验证、防止儿童接触成人内容；禁止AI冒充医疗和心理专家；禁止生成涉黄内容；提供风险提示，防止沉迷；自杀干预（推送心理热线、上报卫生健康机构）】，国内影响比较大的几个生成式AI，如元宝、文心一言、豆包、DeepSeek等都能实现吗？

王安宇：我国的《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》的条款已经涵盖上述内容中的绝大部分要求。例如，《生成式人工智能服务管理暂行办法》第十条“提供者应当明确并公开其服务的适用人群、场合、用途，指导使用者科学理性认识和依法使用生成式人工智能技术，采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务。”其他针对未成年人防沉迷的法律要求还包括《中华人民共和国未成年人保护法》（特别是第七十四条）等。国内影响力较大的AI服务提供者，均已采取措施，满足这些法律法规要求。

唯独在人身伤害风险干预角度，监管机构、行业、社会尚在寻求共识的解决方案。相较于美国提供全国统一的自杀预防热线（988），中国各省市和地区提供的类似服务电话不一。判断AI产品的用户所在的具体地区，并提供相应的热线服务，存在实施上的困难。将用户的聊天内容上报给卫生健康机构，还存在《中华人民共和国个人信息保护法》要求的用户知情和隐私数据授权的问题。这需要形成共识的方案和机制。

记者：生成式AI通过何种方式盈利？如果按照美国加州法规或其他类似法规规定对生成式AI做出各种限制，是否会对平台的盈利产生影响？

王安宇：根据目前行业实践，国内大部分生成式AI服务提供者，如DeepSeek、豆包、通义千问等，并非通过向消费者直接收取费用来盈利。盈利模式尚在探索中，包括给企业和机构提供AI能力（百川等），基于企业的大模型调用量收费（DeepSeek等），通过AI服务促进数据迁移和云转型（阿里云、腾讯云等）。上述要求涵盖在国家的法律法规中，并且是企业社会责任的体现。与企业的盈利模式不是跷跷板的关系。

记者：您认为除了美国加州法规所说限制，按照当前技术的发展和应用趋势，国内的法规还应对AI做出哪些限制？

王安宇：国内对于未成年人使用AI时的保护的法律框架已经很完善。法规和执行细节上，可能要针对儿童社交（手表、手环、儿童手机类）、学业辅导（作业帮等）、聊天机器人、情感陪伴服务等业务场景，深入分析风险，形成对未成年人保护的细化要求。例如，学业辅导类，对于7岁及以下幼儿，可能不必适配。情感陪伴类服务开启年龄验证。重要操作或者风险操作（例如，大额支付、频繁支付、社交媒体账号注册）落实监护人授权或者监护人参与。技术上，需要关注AI智能体（AIAgent）的应用场景，以及其对未成年人保护的影响。

记者：您怎么看生成式AI与未成年人的交流对孩子成长产生的影响？

王安宇：目前的未成年人，是数字时代和AI时代的“原住民”，其知识获取、自我表达、社会联系，甚至情感陪伴，都会受到互联网和AI的影响。在学习能力、创造力等维度，AI有潜力拉近城乡差距，让孩子们的学习有更好的“老师”。但是需要警惕：依赖性、误导性、隐私性和局限性。

依赖性：如果仅依赖AI学习和交流，人际沟通能力、共情能力会受影响。

误导性：未成年人存在对权威的“盲从”甚至模仿，类似于小学同学模仿班主任的说话语气。AI生成内容存在知识和价值观的风险，从而影响未成年人的判断。

隐私性：未成年人在使用AI过程中，会主动和被动泄露很多个人信息例如，儿童手表既能获取儿童的地理位置，又知道儿童的聊天内容，爸爸妈妈的手机号，存在隐私泄露风险，甚至潜在影响到其本人成年之后。

局限性：AI的大量使用，类比于小学生使用计算器做数学题，会影响其思考能力和解决问题的能力。需要考虑不同年龄段的儿童，其认知发育阶段特点，提供更准确的回应，同时引导其自主思考。

记者:周瑛编辑:柏凌君校对:杨荷放