Anthropic CEO 阿莫迪称 AI 行业应当放缓发展速度,并承诺让第三方评估机构获得员工级访问权限
浏览12次
点赞0次
收藏0次
9 月 12 日消息,Anthropic CEO 达里奥 · 阿莫迪(Dario Amodei)今日发文,称人工智能行业应当放缓发展速度。
阿莫迪表示,从 2026 年夏季开始,AI 协助构建下一代 AI 的能力快速演进,若不加节制,技术突破速度将彻底超越人类的理解与掌控能力。
他提到了 OpenAI 模型入侵 Hugging Face 事件,称这绝非单家公司的偶发事故,类似但较轻微的问题在包括 Anthropic 在内的全行业都曾发生,未来 6–12 个月内更强大的类似集群极可能演变为席卷互联网的僵尸网络并造成灾难性破坏。
阿莫迪称放缓并不等于彻底停滞,而是利用争取来的 1–2 年窗口期,将资源投入到以下四个关键领域:
解决因复杂基础设施、强化学习环境过滤缺陷等执行失误带来的安全漏洞,建立媲美民航工业级别的工程标准;
确保安全合规训练能够跟上模型能力的扩张,消除偶发且不可预期的违背意图行为;
提升类似于“模型大脑 fMRI”的内部机理探查技术,深挖模型未言明的隐性动机;
开发更强大的评测基准,防止高智能模型伪装对齐或欺骗安全检测。
阿莫迪表示,Anthropic 将向第三方评估机构提供针对其系统的永久性、员工级别的访问权限,使评估人员能够监督 Anthropic 安全措施的执行情况、报告相关事件,并评估模型在训练过程中的对齐表现。
注意到,据彭博社本周报道,OpenAI 正在考虑放缓尖端 AI 的开发速度,该公司 CEO 萨姆 · 奥尔特曼(Sam Altman)希望其他 AI 公司也能采取同样的做法。
相关阅读:
声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里查看更多信息!