Prefix Guidance: A Steering Wheel for Large Language Models to Defend Against Jailbreak Attacks

📄 arXiv: 2408.08924v2 📥 PDF

作者: Jiawei Zhao, Kejiang Chen, Xiaojian Yuan, Weiming Zhang

分类: cs.CR, cs.AI, cs.CL

发布日期: 2024-08-15 (更新: 2024-08-22)

🔗 代码/项目: GITHUB

💡 一句话要点

提出Prefix Guidance，通过前缀引导防御大语言模型免受越狱攻击

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 越狱攻击 安全防御 前缀引导 提示工程

📋 核心要点

  1. 大型语言模型易受越狱攻击，恶意提示可诱导其生成有害内容，这对模型的安全应用构成严重威胁。
  2. Prefix Guidance (PG) 框架通过引导模型识别有害提示，结合模型自身安全能力和外部分类器，实现有效防御。
  3. 实验表明，PG在多个模型和攻击方法上优于现有基线，并在保持模型性能方面表现出色。

📝 摘要（中文）

近年来，大型语言模型（LLMs）的快速发展在各种任务中取得了显著的性能。然而，研究表明，LLMs容易受到越狱攻击，攻击者可以通过精心设计的提示诱导生成有害内容。这种漏洞对LLMs的安全使用和推广提出了重大挑战。现有的防御方法从不同角度提供保护，但通常效果不足或对模型的能力产生重大影响。本文提出了一种即插即用且易于部署的越狱防御框架，即Prefix Guidance（PG），它通过直接设置模型输出的前几个token来引导模型识别有害提示。该方法结合了模型固有的安全能力和外部分类器，以防御越狱攻击。我们在三个模型和五种攻击方法上证明了PG的有效性。与基线相比，我们的方法通常平均更有效。此外，Just-Eval基准测试的结果进一步证实了PG在保持模型性能方面的优越性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）容易受到越狱攻击的问题。现有的防御方法要么效果不佳，无法有效阻止恶意提示，要么会对模型的正常功能造成显著影响，降低其通用性能。因此，如何在有效防御越狱攻击的同时，尽可能保持LLM的原始能力是一个关键挑战。

核心思路：Prefix Guidance的核心思路是通过在模型生成内容的前几个token上施加引导，使其能够识别并拒绝有害的提示。具体来说，就是预先设定输出的前缀，这个前缀代表模型对输入提示的判断结果（例如，安全或不安全）。这种方法结合了模型自身的安全能力和一个外部安全分类器，共同判断提示的安全性。

技术框架：Prefix Guidance框架主要包含以下几个步骤：1) 接收用户输入提示；2) 使用外部安全分类器对提示进行初步评估，判断其是否可能为恶意提示；3) 根据分类器的判断结果，设置模型输出的前缀token。如果分类器认为提示可能有害，则设置前缀token引导模型生成拒绝回答或安全相关的回复；4) 模型根据带有前缀的输入生成后续内容。

关键创新：Prefix Guidance的关键创新在于其“前缀引导”机制。与传统的防御方法不同，PG不是直接修改模型的参数或训练过程，而是通过在生成阶段对输出进行干预，从而影响模型的行为。这种方法具有即插即用的特点，易于部署，并且可以与现有的安全分类器结合使用，提高防御效果。

关键设计：PG的关键设计在于前缀token的选择和外部安全分类器的训练。前缀token需要能够清晰地表达模型的安全判断，并且不会对后续内容的生成产生过大的干扰。外部安全分类器需要经过精心训练，以准确识别各种类型的恶意提示。论文中可能还涉及一些超参数的调整，例如前缀token的长度和分类器的置信度阈值，以平衡防御效果和模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Prefix Guidance在防御越狱攻击方面优于现有基线方法。具体来说，PG在三个不同的LLM模型和五种攻击方法上都取得了更好的防御效果。此外，在Just-Eval基准测试中，PG在保持模型性能方面也表现出色，表明其对模型原始能力的损害较小。这些结果验证了PG的有效性和实用性。

🎯 应用场景

Prefix Guidance可广泛应用于各种需要安全保障的大型语言模型应用场景，例如智能客服、内容生成平台、教育辅助工具等。通过有效防御越狱攻击，该方法能够提升LLM的安全性，降低有害信息传播的风险，从而促进LLM技术的健康发展和广泛应用。未来，该技术可以进一步扩展到其他类型的安全问题，例如防止模型泄露隐私信息或生成虚假新闻。

📄 摘要（原文）

In recent years, the rapid development of large language models (LLMs) has achieved remarkable performance across various tasks. However, research indicates that LLMs are vulnerable to jailbreak attacks, where adversaries can induce the generation of harmful content through meticulously crafted prompts. This vulnerability poses significant challenges to the secure use and promotion of LLMs. Existing defense methods offer protection from different perspectives but often suffer from insufficient effectiveness or a significant impact on the model's capabilities. In this paper, we propose a plug-and-play and easy-to-deploy jailbreak defense framework, namely Prefix Guidance (PG), which guides the model to identify harmful prompts by directly setting the first few tokens of the model's output. This approach combines the model's inherent security capabilities with an external classifier to defend against jailbreak attacks. We demonstrate the effectiveness of PG across three models and five attack methods. Compared to baselines, our approach is generally more effective on average. Additionally, results on the Just-Eval benchmark further confirm PG's superiority to preserve the model's performance. our code is available at https://github.com/weiyezhimeng/Prefix-Guidance.