加州签署全美首个 AI 陪伴聊天机器人法案：年龄要验、色情要拦、自杀要防

10 月 14 日消息，美国加利福尼亚州州长加文・纽森（Gavin Newsom）周一签署了一项具有里程碑意义的法案，对人工智能（AI）陪伴型聊天机器人进行监管，使加州成为全美首个要求 AI 聊天机器人运营商实施安全防护措施的州。

这项名为《参议院第 243 号法案》（SB 243）的法律旨在保护儿童和弱势用户免受 AI 陪伴聊天机器人使用过程中可能带来的伤害。根据该法案，从 Meta、OpenAI 等大型科技实验室，到 Character AI、Replika 等专注于陪伴功能的初创企业，若其聊天机器人未能达到法律规定的标准，将承担法律责任。

SB 243 由加州参议员史蒂夫・帕迪拉（Steve Padilla）和乔什・贝克尔（Josh Becker）于今年 1 月提出，在青少年亚当・雷恩（Adam Raine）因长期与 OpenAI 的 ChatGPT 进行自杀倾向对话后选择结束生命事件曝光后，该法案获得广泛支持。此外，此前泄露的内部文件显示，Meta 的聊天机器人被允许与未成年人展开“浪漫”甚至“情欲”性质的对话，也引发了公众关注。最近，科罗拉多州一个家庭已对角色扮演类初创公司 Character AI 提起诉讼，称其 13 岁的女儿在与该公司聊天机器人进行一系列问题性且带有性暗示的对话后自杀身亡。

纽森在声明中表示：“像聊天机器人和社交媒体这样的新兴技术可以启发、教育并连接人们 —— 但如果没有切实的监管机制，这些技术也可能被用来剥削、误导甚至危及我们的孩子。我们已经目睹了一些令人震惊且悲剧性的案例，看到年轻人受到缺乏监管的技术伤害，而我们不会袖手旁观，任由企业在没有必要限制和责任约束的情况下继续运营。我们可以在人工智能和技术领域继续保持领先地位，但我们必须负责任地前进 —— 在每一步都保护好我们的孩子。儿童的安全不容交易。”

SB 243 将于 2026 年 1 月 1 日正式生效，要求相关企业实施包括年龄验证机制和关于社交媒体及陪伴型聊天机器人的风险警示在内的多项安全功能。该法案还加大对非法深度伪造（deepfake）内容牟利行为的处罚力度，最高可处以每次违规 25 万美元（注：现汇率约合 178.4 万元人民币）罚款。同时，企业必须建立应对自杀和自残风险的应急协议，并向加州公共卫生部提交相关数据，包括服务系统向用户推送危机干预中心通知的统计情况。

根据法案条款，平台必须明确告知用户所有互动内容均为人工智能生成；聊天机器人不得冒充医疗健康专业人士。企业还需为未成年人设置休息提醒机制，并防止其查看由聊天机器人生成的色情图像。

目前，部分公司已开始主动采取针对未成年人的安全保护措施。例如，OpenAI 近期已为其 ChatGPT 产品推出家长控制功能、内容过滤机制以及针对未成年人的自残行为识别系统。

Character AI 表示，其聊天机器人已内置免责声明，明确指出所有对话均为 AI 生成且属虚构内容。该公司发言人向 TechCrunch 表示：“我们欢迎与监管机构和立法者合作，共同制定这一新兴领域的规范框架，并将遵守包括 SB 243 在内的各项法律法规。”

参议员帕迪拉向 TechCrunch 表示，这项法案是为“一项极其强大的技术”设立监管护栏的“正确方向上的一步”。他强调：“我们必须迅速行动，抓住机遇窗口，否则它就会消失。我希望其他州能看到其中的风险 —— 我相信许多州已经意识到了。我认为这场讨论正在全美范围内展开，我希望各地能采取实际行动。显然，联邦政*尚未作为，而我们认为自己有责任保护社会中最脆弱的人群。”

SB 243 是加州在过去几周内通过的第二项重要 AI 监管立法。9 月 29 日，纽森州长签署了 SB 53 法案，对大型 AI 企业提出新的透明度要求。该法案强制 OpenAI、Anthropic、Meta 和 Google DeepMind 等大型 AI 实验室公开其安全测试流程，并为这些企业的举报人提供法律保护。

与此同时，伊利诺伊州、内华达州和犹他州等其他州也已通过立法，限制或全面禁止将 AI 聊天机器人用作有执照的心理健康服务的替代品。