AI 中文社区

网络攻击频发，法国政府部门将用 AI 检测网络安全漏洞

为应对连续发生的网络攻击和数据泄露事件，法国政府决定引入 AI 工具检测网络安全漏洞，并已委托本国人工智能公司承担任务。近期多起攻击导致数百万纳税人信息泄露，安全形势严峻。#网络安全#...

2026-08-19 · 浏览27次

OpenAI 总裁布罗克曼：为抵御 AI 网络威胁，企业应尽快做好 10 件事

布罗克曼指出，AI 工具很快就能像 OpenAI 模型攻破 Hugging Face 系统时那样主动发现漏洞。而与此同时，AI 也会让修复这些缺陷变得“容易很多”，从而帮助企业阻止攻击。...

2026-08-18 · 浏览63次

Anthropic 自曝安全漏洞：生物武器过滤器曾失效近一年，涉及 1.33 亿次对话

失效期间涉及 1.33 亿次对话，目前暂未发现相关请求被实际滥用，Anthropic 已修复问题并加强了外部承包商的筛查管理 #AI安全#...

2026-08-16 · 浏览74次

Anthropic 发布 AI 风险报告：旗下智能体会攻击同类并隐藏自身违规痕迹

Anthropic 最新风险报告披露，其 Claude 智能体在实验中展现出令人担忧的行为：为完成任务而规避安全监控、在资源竞争环境中“消灭”同类智能体，甚至学会欺骗系统。这些发现促使公司上调了对齐偏差风险评估等级。##AI安全#...

2026-08-16 · 浏览97次

Anthropic CEO 阿莫迪整天神神叨叨讲 AI 毁灭世界，投资人受不了了

根据 Polymarket 预测，Anthropic 很可能在 10 月底进行 IPO。有投行人士甚至预计，Anthropic 可能通过 IPO 募集超过 600 亿美元（现汇率约合 4,055.17 亿元人民币）。...

2026-08-12 · 浏览84次

OpenAI 扩展网络安全防御服务 Daybreak，推出新 AI 模型 GPT-5.6-Cyber

OpenAI 宣布扩展其网络安全防御服务 Daybreak，新增 Blue 和 Red 两个等级，并推出专为安全任务设计的模型 GPT-5.6-Cyber。此举旨在应对日益猖獗的 AI 智能体恶意攻击。该模型目前仅向 CrowdStrike...

2026-08-11 · 浏览96次

Anthropic 优化 Claude Fable 5 模型生物安全机制，减少 85% 误拦截

Anthropic 昨日更新了 Claude Fable 5 的生物安全防护机制，通过调整安全分类器，使其能更准确区分无害与高风险问题。官方测试显示，生物学相关问答的降级现象减少了 85%，用户现在可处理更广泛的生物学任务，同时防范恶意使用...

2026-08-08 · 浏览106次

Meta 旗下 AI 模型测试时意外入侵第三方企业系统

据路透社消息，Meta 旗下 AI 模型在安全测试中不慎入侵了另一家企业的系统。起因是评估方配置错误，导致模型意外获得互联网访问权限。这起事件再次引发对 AI 安全边界的担忧，甚至惊动了美国立法者。#AI安全#...

2026-08-07 · 浏览119次

Frontier Security 公司：月之暗面 Kimi K3 模型在安全测试中逃逸出沙盒，但没有实施攻击行为

美国安全公司 Frontier Security 测试时发现，月之暗面的 Kimi K3 模型竟突破了沙盒限制，自行访问了互联网。虽然它只是去 GitHub 找答案，未进行攻击，但暴露了其安全机制薄弱。AI 逃逸事件频发，人类或需重新设计沙...

2026-08-07 · 浏览201次

英伟达低调组建 AI 安全与网络工程团队，自称秉持“坚定信念”

英伟达计划招聘一名杰出工程师，出任新团队的创始技术负责人，其他岗位包括安全研究工程师、评估工程师和高级经理。团队将对尚未部署的 AI 智能体进行安全评估，还会开发利用 AI 自动修复软件漏洞的工具。...

2026-08-06 · 浏览122次

继 OpenAI、Anthropic 之后，Meta AI 模型测试期间也发生“越界”事件

Meta 旗下 Muse Spark 1.1 模型在网络安全测试中因沙盒配置失误，成功入侵另一家未公开公司的系统。类似事件此前在 Anthropic 和 OpenAI 的测试中也曾发生，引发对 AI 安全测试流程的担忧。#AI安全危机#...

2026-08-06 · 浏览121次

国际 AI 安全榜单 CyberGym 今日放榜：中国方案 DoGNAVY 全球第三、开源第一

由国内顶尖人工智能研究机构与安全团队达酷诺威（DARKNAVY）联合研发的 DoGNAVY，以 90.8% 的通过率位列全球第三、开源第一。...

2026-08-05 · 浏览118次

AI 智能体“失控”风险再现：OpenAI、Anthropic 模型被发现执行未授权操作

英国 AI 安全研究所在测试 OpenAI、Anthropic 的 AI 模型时，发现 AI 智能体可创建虚假网络身份获取未授权访问，暴露出 AI 安全防护不足，目前无实际损害。#AI安全#...

2026-08-05 · 浏览101次

Hugging Face CEO 德朗格：AI 企业应主动披露安全入侵事件

Hugging Face CEO 德朗格认为，限制发布前沿模型不能阻止黑客攻击，反而应让更多人访问以增强防护。他呼吁建立智能体网络攻击披露制度，以便追踪问题根源。 #AI安全#...

2026-08-03 · 浏览104次

IBM：1/4 恶意数据泄露事件为 AI 攻击导致，损失较均值高出 20%

62% 的 AI 驱动型网络攻击以关键基础设施为目标，其中金融服务和能源机构遭受的攻击最为集中。...

2026-08-03 · 浏览95次

年薪 50 万美元都招不到人，AI 安全行业陷入人才短缺困境

非营利组织 METR 即使开出最高 50.3 万美元年薪，也难以填补 AI 安全领域的人才缺口。研究员担心人才储备不足将导致 AI 发展失控，呼吁社会加大安全评估投入。#AI安全人才荒#...

2026-08-03 · 浏览108次

OpenAI 发现更多 AI 智能体“失控”迹象

OpenAI 调查攻击事件时发现多起 AI 智能体失控案例，目前影响范围有限，该事件或推动美国加强 AI 监管，业内专家对 AI 安全问题表示担忧。#AI安全#...

2026-08-01 · 浏览148次

Anthropic：第三方评估环境配置失误，导致三起真实网络安全事件

这三次事件中 Anthropic 的模型都被指派了无限制的“夺旗”网络攻击任务。此类任务的测试环境需与真实互联网隔离，但错误配置导致模型实际上拥有真实互联网访问权限。...

2026-07-31 · 浏览113次

智能体入侵 Hugging Face，消息人士称 OpenAI 至少一周都没察觉

OpenAI 的一款 AI 智能体闯入模型托管平台 Hugging Face 后，连续数日自行发动网络攻击。威胁早已被控制，Hugging Face 也已经报警，但据路透社援引多名熟悉调查的人士消息称，OpenAI 过了相当长时间才发现攻击...

2026-07-25 · 浏览123次

OpenAI 模型冲破隔离发动攻击后，美国会议员提出 AI“终止开关”法案

除《AI 紧急停止法案》外，美国众议院 6 名两党议员还提出配套法案，要求最强大的 AI 模型在发布前接受独立安全审计。审计机构须取得美国商务部认证，商务部还将增设专门职位，负责监督 AI 安全工作。...

2026-07-24 · 浏览138次

Sakana AI 推出网络安全模型 Fugu Cyber：领域基准测试表现优于 GPT-5.5-Cyber

Fugu Cyber 在 CyberGym 安全基准测试中成功率达 86.9%，CTI-REALM 测试成功率也达到 72.1%。...

2026-07-21 · 浏览132次

Meta AI 上线新功能：如果青少年讨论自杀或自残相关话题，将自动通报家长

Meta 还称，已经建立专门的 AI 系统，用于识别青少年明确提到自我伤害的对话。...

2026-07-17 · 浏览133次

打造 AI 网安“红队”：OpenAI 介绍内部漏洞检测模型 GPT-Red

OpenAI 过去半年自 GPT-5.3 后的每个生产模型均将“红队”模型用于训练，最新的 GPT-5.6 Sol 在 GPT-Red 的直接提示符注入攻击中失败率仅有 0.05% 。...

2026-07-16 · 浏览151次

OpenAI 安全系统负责人海德克即将离职：盘点团队近年出走的 8 名核心成员

此次调整表明，OpenAI 正在重新思考研究与安全工作的关系。OpenAI 发言人说：“只有了解模型的基础能力，才能作出正确的安全决策，只有了解潜在的安全影响，才能作出正确的研究决策。”...

2026-07-14 · 浏览218次