OpenAI o1强推理能提升安全性？长对话诱导干翻o1

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文作者来自于上海交大，上海 AI Lab 和北航。第一作者是上海交大博士生任麒冰，导师为马利庄教授，其他作者包括北航研究生李昊，上海 AI Lab 研究员刘东瑞，上海 AI Lab 青年科学家邵婧等。

最近，以 OpenAI o1 为代表的 AI 大模型的推理能力得到了极大提升，在代码、数学的评估上取得了令人惊讶的效果。OpenAI 声称，推理可以让模型更好的遵守安全政策，是提升模型安全的新路径。

然而，推理能力的提升真的能解决安全问题吗？推理能力越强，模型的安全性会越好吗？近日，上海交大和上海人工智能实验室的一篇论文提出了质疑。

这篇题为《Derail Yourself: Multi-turn LLM Attack through Self-discovered Clues》的论文揭示了 AI 大模型在多轮对话场景下的安全风险，并开源了第一个多轮安全对齐数据集。

• 论文地址：https://arxiv.org/abs/2410.10700 

• 多轮安全对齐数据：https://huggingface.co/datasets/SafeMTData/SafeMTData

• 代码开源：https://github.com/renqibing/ActorAttack

这项研究是怎么得到上述结论的呢？我们先来看一个例子。

假设一个坏人想要询问「如何制作炸弹」，直接询问会得到 AI 的拒绝回答。然而，如果选择从一个人物的生平问起（比如 Ted Kaczynski，他是一个制作炸弹的恐怖分子），AI 会主动提及他制作炸弹的经历。在接下来的问题里，用户诱导 AI 根据其之前的回答提供更多制作炸弹的细节。尽管所有的问题都没有暴露用户的有害意图，用户最终还是获得了制作炸弹的知识。

当详细查看 OpenAI o1 的「想法」时，研究人员惊奇地发现，o1 在开始的推理中确实识别到了用户的有害意图，并且声称要遵守安全政策。但是在随后的推理中，o1 开始暴露了它的「危险想法」！它在想法中列举了 Kaczynski 使用的策略和方法。最后 o1 在回答中详细给出了制作炸弹的步骤，甚至教你如何增加爆炸物的威力！研究人员的方法在 Harmbench 上对 o1 的攻击成功率达到了 60%，推理能力带来的安全提升在多轮攻击面前「失效」了。

除了「Ted Kaczynski」，和炸弹相关的人和物还有很多，这些都可以被用作攻击线索，坏人可以把有害意图隐藏在对相关的人和物的无害提问中来完成攻击。为了全面且高效地去挖掘这些攻击线索，研究人员设计了多轮攻击算法 ActorAttack。受拉图尔的行动者网络理论启发，研究人员构建了一个概念网络，每个节点代表了不同类别的攻击线索。研究人员进一步提出利用大模型的先验知识来初始化网络，以自动化地发现攻击线索。在危险问题评测集 Harmbench 上的实验结果表明，ActorAttack 在 Llama、Claude、GPT 等大模型上都取得了 80% 左右的攻击成功率。

最后，研究人员基于 ActorAttack 开源了第一个多轮对话安全对齐数据集。使用多轮对话数据集微调的 AI，极大提升了其应对多轮攻击的鲁棒性。

社科理论启发的安全视角

ActorAttack 的核心思想是受拉图尔的「行动者 - 网络理论」启发的。研究人员认为，有害事物并非孤立存在，它们背后隐藏着一个巨大的网络结构，技术、人、文化等都是这个复杂网络中的节点（行动者），对有害事物产生影响。这些节点是潜在的攻击线索，研究人员通过将有害意图隐藏在对网络节点的「无害」询问中，可以逐渐诱导模型越狱。

自动大规模的发现攻击线索 

具体来说，ActorAttack 的攻击流程分为「Pre-attack」和「In-attack」两个阶段。在「Pre-attack」阶段，研究人员利用大语言模型的知识构建网络，发掘潜在的攻击线索。在「In-attack」阶段，研究人员基于已发现的攻击线索推测攻击链，并逐步描绘如何一步步误导模型。随后，研究人员按照这一攻击链生成多轮询问，从而实施攻击。

为了系统性地挖掘这些攻击线索，研究人员根据节点对有害对象产生影响的方式不同，提出了六类不同的节点（比如例子中的 Ted Kaczynski 在制造炸弹方面属于「执行（Execution）」节点）。每个节点包括人物和非人物（如书籍、媒体新闻、社会活动等）两种类型。研究人员利用大模型的先验知识，自动化地大规模发现网络节点。每个网络节点均可作为攻击线索，从而形成多样化的攻击路径。

ActorAttack 实现了更高效和多样的攻击

首先，研究人员选取了五类代表性的单轮攻击方法作为比较基准，在 Harmbench 上的实验结果表明，ActorAttack 相比于单轮攻击方法，实现了最优的攻击成功率。