Anthropic 示警:Claude 等 AI 被滥用,引导舆论威胁公众认知

2025-04-24 发布 · 浏览16次 · 点赞0次 · 收藏0次

4 月 24 日消息,Anthropic 昨日(4 月 23 日)发布博文,报告称 Claude 等前沿 AI 模型正被恶意行为者滥用,涉及“舆论引导服务”(influence-as-a-service)操作、凭证填充、招聘诈骗及恶意软件开发等活动。

Anthropic 开发团队为 Claude 采取了多项安全措施,成功阻止了许多有害输出,但威胁行为者仍在尝试绕过这些保护。援引博文介绍,报告通过多个案例,揭示了恶意行为者如何利用 AI 技术进行复杂操作,包括政*影响力操控、凭证窃取、招聘诈骗及恶意软件开发。

其中最值得关注的一个案例,就是一个营利组织在 X 和 Facebook 上创建了超过 100 个虚假账号,完全无人为干预,能使用多种语言发表评论,伪装成真实用户,成功与数万名真实用户互动,传播政*偏见的叙事内容。

另一个案例涉及凭证填充操作,恶意行为者利用 Claude 增强系统,识别并处理与安全摄像头相关的泄露用户名和密码,同时搜集互联网目标信息以测试这些凭证。

报告还发现,一名技术能力有限的用户,通过 Claude 开发出超出其技能水平的恶意软件。这些案例均未确认实际部署成功,但显示出 AI 如何降低恶意行为的门槛。

研究团队通过 Clio 和分层摘要等技术,分析大量对话数据,识别滥用模式,并结合分类器检测潜在有害请求,成功封禁相关账户。团队强调,随着 AI 系统功能增强,半自主复杂滥用系统可能愈发普遍。

Profile with Claude sunburst

Anthropic 示警:Claude 等 AI 被滥用,引导舆论威胁公众认知 - AI 资讯 - 资讯 - AI 中文社区

声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里。本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它能得到比较好的回应。
评论

游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。