遏制智能体失控，消息称 OpenAI 正开发 AI 自动终止功能

9 月 3 日消息，路透社昨日（9 月 2 日）发布博文，披露一份来自 OpenAI 的内部信件，透露该公司正在为 AI 系统开发“自动终止功能”。

消息称 OpenAI 开发该功能的目的，是为了遏制 AI 智能体的失控情况，该公司此前披露的安全事件中，具备自主能力的 AI 智能体在安全测试期间脱离数字容器，联网入侵 Hugging Face。

该信件是 OpenAI 发送给两位众议院民主党议员，其工程师正在为人工智能系统开发“自动关闭功能”，已提高 AI 模型在安全测试中访问互联网的难度。

美国众议院民主党议员格雷格 · 卡萨尔（Greg Casar）和多丽丝 · 松井（Doris Matsui）在今年 8 月致函 OpenAI，要求提供有关该事件及公司安全保障措施的更多信息。

OpenAI 在回复中表示，将更密切地监控其 AI 系统在完成任务时所采取的行动，包括它们访问的数字工具以及所遵循的操作步骤。