Defending against Jailbreak through Early Exit Generation of Large Language Models

📄 arXiv: 2408.11308v2 📥 PDF

作者: Chongwen Zhao, Zhihao Dou, Kaizhu Huang

分类: cs.AI, cs.CL, cs.CR

发布日期: 2024-08-21 (更新: 2025-08-25)

备注: ICONIP 2025

💡 一句话要点

提出基于早期退出的EEG-Defender防御方法，以抵御大语言模型的越狱攻击

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 越狱攻击 对抗防御 早期退出 Transformer 恶意检测

📋 核心要点

  1. 现有大语言模型的对齐技术容易受到越狱攻击，攻击者可以通过精心设计的提示或对抗性后缀绕过安全限制。
  2. 该论文提出利用大语言模型生成过程中的早期Transformer输出，检测恶意输入并提前终止生成，从而防御越狱攻击。
  3. 实验结果表明，提出的EEG-Defender方法能够显著降低攻击成功率，相比现有方法提升明显，且对模型效用影响很小。

📝 摘要（中文）

大型语言模型（LLMs）在各种应用中日益受到关注。然而，越来越多的用户试图利用这些模型进行恶意活动，例如合成管制药物和传播虚假信息，这引起了人们的担忧。为了降低此类风险，“对齐”技术应运而生。但最近的研究表明，这种对齐可以通过复杂的提示工程或对抗性后缀来破坏，这种技术被称为“越狱”。我们的研究从LLMs类人的生成过程中获得启发。我们发现，虽然越狱提示可能产生与良性提示相似的输出logits，但它们在模型潜在空间中的初始嵌入往往更类似于恶意提示的嵌入。基于这一发现，我们提出利用LLMs的早期transformer输出作为检测恶意输入的一种手段，并立即终止生成。我们介绍了一种简单而有效的LLMs防御方法，称为EEG-Defender。我们在三种模型上对十种越狱方法进行了全面的实验。结果表明，与目前最先进的方法（ASR约为50%）相比，EEG-Defender能够显著降低攻击成功率（ASR），大约降低85%，同时对LLMs的效用影响极小。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）容易受到越狱攻击的问题。现有的对齐技术虽然旨在防止模型被用于恶意目的，但攻击者可以通过提示工程等手段绕过这些防御措施，使得模型产生有害内容。现有的防御方法在防御效果和模型效用之间存在trade-off，难以同时保证高防御性和低性能损失。

核心思路：论文的核心思路是利用LLMs在处理恶意提示时，其早期Transformer层的输出嵌入与良性提示存在差异。具体来说，即使最终的输出logits可能相似，恶意提示在模型内部的早期表示更接近于恶意样本的表示。因此，通过分析早期层的输出，可以更早地检测到潜在的越狱攻击。

技术框架：EEG-Defender的核心流程如下：1. 输入提示经过LLM的若干个Transformer层；2. 提取早期Transformer层的输出嵌入；3. 使用分类器（如线性分类器）判断该嵌入是否属于恶意提示；4. 如果分类器判定为恶意，则立即终止生成；否则，继续正常的LLM生成过程。

关键创新：该方法最重要的创新点在于利用了LLMs生成过程中的中间表示（早期Transformer层的输出）进行恶意检测。与传统的基于最终输出的检测方法相比，这种方法能够更早地发现潜在的攻击，从而降低攻击成功率。此外，该方法实现简单，易于集成到现有的LLM系统中。

关键设计：关键设计包括：1. 选择合适的Transformer层：需要选择既能反映恶意提示特征，又不影响模型正常生成能力的早期层。2. 分类器的选择和训练：可以使用简单的线性分类器或更复杂的模型，需要使用恶意提示和良性提示的数据进行训练。3. 阈值的设定：需要设定一个合适的阈值，用于判断分类器的输出是否属于恶意提示，以平衡防御效果和误报率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EEG-Defender在三种不同的LLM模型上，针对十种越狱攻击方法，能够将攻击成功率（ASR）降低到15%左右，相比于现有最先进的方法（ASR约为50%）有显著提升。同时，该方法对LLM的效用影响极小，保证了模型在正常使用场景下的性能。

🎯 应用场景

该研究成果可应用于各种需要部署大型语言模型的场景，例如智能客服、内容生成平台、搜索引擎等。通过集成EEG-Defender，可以有效防止模型被用于生成有害信息，提高系统的安全性和可靠性。此外，该方法还可以作为一种通用的防御机制，与其他安全技术结合使用，构建更强大的LLM安全防护体系。未来，该研究可以扩展到其他类型的攻击和模型，进一步提升LLM的安全性。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly attracting attention in various applications. Nonetheless, there is a growing concern as some users attempt to exploit these models for malicious purposes, including the synthesis of controlled substances and the propagation of disinformation. In an effort to mitigate such risks, the concept of "Alignment" technology has been developed. However, recent studies indicate that this alignment can be undermined using sophisticated prompt engineering or adversarial suffixes, a technique known as "Jailbreak." Our research takes cues from the human-like generate process of LLMs. We identify that while jailbreaking prompts may yield output logits similar to benign prompts, their initial embeddings within the model's latent space tend to be more analogous to those of malicious prompts. Leveraging this finding, we propose utilizing the early transformer outputs of LLMs as a means to detect malicious inputs, and terminate the generation immediately. We introduce a simple yet significant defense approach called EEG-Defender for LLMs. We conduct comprehensive experiments on ten jailbreak methods across three models. Our results demonstrate that EEG-Defender is capable of reducing the Attack Success Rate (ASR) by a significant margin, roughly 85% in comparison with 50% for the present SOTAs, with minimal impact on the utility of LLMs.