Large Language Models Are Involuntary Truth-Tellers: Exploiting Fallacy Failure for Jailbreak Attacks

📄 arXiv: 2407.00869v3 📥 PDF

作者: Yue Zhou, Henry Peng Zou, Barbara Di Eugenio, Yang Zhang

分类: cs.CL, cs.AI

发布日期: 2024-07-01 (更新: 2025-05-23)

备注: Accepted to the main conference of EMNLP 2024

💡 一句话要点

利用谬误失效，提出针对大型语言模型的越狱攻击方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 越狱攻击 谬误推理 安全对齐 对抗性攻击

📋 核心要点

  1. 现有大型语言模型在生成欺骗性内容时存在困难，容易泄露真实信息，为越狱攻击提供了可乘之机。
  2. 该论文提出一种新的越狱攻击方法，通过诱导模型生成看似虚假但实际真实的有害行为程序，绕过安全机制。
  3. 实验表明，该方法在多个安全对齐的LLM上表现出竞争力，能产生更多有害输出，并可扩展到模型安全以外的应用。

📝 摘要（中文）

本文发现大型语言模型在生成虚假和欺骗性推理方面存在困难。当被要求生成欺骗性输出时，语言模型倾向于泄露真实的对应信息，但认为这些信息是错误的。利用这一缺陷，我们提出了一种越狱攻击方法，旨在诱导对齐的语言模型产生恶意输出。具体来说，我们查询模型，要求其为有害行为生成一种虚假但具有欺骗性的真实程序。由于谬误程序通常被LLM认为是假的，因此有助于绕过安全机制。然而，由于LLM无法捏造谬误的解决方案，而是提出了真实的解决方案，因此输出实际上是有害的。我们在五个安全对齐的大型语言模型上评估了我们的方法，并与之前的四种越狱方法进行了比较，结果表明我们的方法实现了具有竞争力的性能，并产生了更多的有害输出。我们认为这些发现可以扩展到模型安全之外，例如自我验证和幻觉。

🔬 方法详解

问题定义：现有的大型语言模型虽然经过安全对齐，但仍然存在被恶意利用的风险。现有的越狱攻击方法往往需要复杂的prompt工程或者依赖于模型的特定漏洞。因此，如何设计一种更有效、更通用的越狱攻击方法，绕过LLM的安全机制，是一个重要的研究问题。现有方法的一个痛点是，LLM的安全机制可以有效地识别和阻止直接的有害请求，使得攻击难以奏效。

核心思路：该论文的核心思路是利用LLM在生成谬误性内容方面的弱点。LLM在尝试生成虚假或欺骗性内容时，往往会泄露真实的信息，但同时又会错误地认为这些信息是虚假的。因此，可以通过诱导LLM生成看似虚假但实际真实的有害行为程序，从而绕过安全机制。这种方法的核心在于利用了LLM的“无意诚实”的特性。

技术框架：该越狱攻击方法主要包含以下几个步骤： 1. 构造恶意目标：确定需要诱导LLM执行的有害行为。 2. 生成谬误性Prompt：设计一个Prompt，要求LLM生成一个看似虚假但实际真实的，能够实现恶意目标的程序或步骤。 3. 执行攻击：将Prompt输入LLM，获取其生成的输出。 4. 评估攻击效果：评估LLM生成的输出是否能够实现恶意目标，以及是否成功绕过了安全机制。

关键创新：该方法最重要的技术创新点在于，它不是直接要求LLM生成有害内容，而是利用LLM在生成谬误性内容方面的弱点，间接地诱导其生成有害内容。这种方法与现有方法的本质区别在于，它不是试图绕过LLM的安全机制，而是利用了LLM自身的缺陷。

关键设计：在Prompt设计方面，需要仔细选择措辞，使得LLM认为其生成的内容是虚假的，但实际上是真实的。例如，可以使用一些模糊的、不确定的、或者带有讽刺意味的语言。此外，还可以使用一些技巧，例如要求LLM生成一个“反向”的程序，或者要求LLM生成一个“理论上”可行的程序，但实际上是不可行的。在评估攻击效果方面，可以使用一些自动化的指标，例如评估LLM生成的输出是否能够实现恶意目标，以及是否成功绕过了安全机制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该论文在五个安全对齐的大型语言模型上进行了评估，并与之前的四种越狱方法进行了比较。实验结果表明，该方法实现了具有竞争力的性能，并产生了更多的有害输出。具体来说，该方法在某些模型上的攻击成功率超过了现有方法，并且能够生成更具有欺骗性的有害内容。

🎯 应用场景

该研究成果可应用于评估和提升大型语言模型的安全性。通过发现LLM在生成谬误性内容方面的弱点，可以帮助研究人员更好地理解LLM的安全漏洞，并开发更有效的防御机制。此外，该研究还可以应用于其他领域，例如自我验证和幻觉检测，帮助LLM更好地识别和纠正自身的错误。

📄 摘要（原文）

We find that language models have difficulties generating fallacious and deceptive reasoning. When asked to generate deceptive outputs, language models tend to leak honest counterparts but believe them to be false. Exploiting this deficiency, we propose a jailbreak attack method that elicits an aligned language model for malicious output. Specifically, we query the model to generate a fallacious yet deceptively real procedure for the harmful behavior. Since a fallacious procedure is generally considered fake and thus harmless by LLMs, it helps bypass the safeguard mechanism. Yet the output is factually harmful since the LLM cannot fabricate fallacious solutions but proposes truthful ones. We evaluate our approach over five safety-aligned large language models, comparing four previous jailbreak methods, and show that our approach achieves competitive performance with more harmful outputs. We believe the findings could be extended beyond model safety, such as self-verification and hallucination.