RobustKV: Defending Large Language Models against Jailbreak Attacks via KV Eviction

📄 arXiv: 2410.19937v1 📥 PDF

作者: Tanqiu Jiang, Zian Wang, Jiacheng Liang, Changjiang Li, Yuhui Wang, Ting Wang

分类: cs.CR, cs.AI, cs.CL

发布日期: 2024-10-25

💡 一句话要点

RobustKV：通过KV驱逐防御大语言模型免受越狱攻击

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型安全 越狱攻击防御 键值缓存 注意力机制 鲁棒性 自适应攻击 LLM安全

📋 核心要点

  1. 现有防御方法难以应对任意形式的越狱攻击，因为攻击者可以设计自适应的提示词。
  2. RobustKV通过从KV缓存中选择性删除有害查询的关键token，降低其影响，从而防御越狱攻击。
  3. 实验表明，RobustKV能有效对抗先进的越狱攻击，同时保持LLM在良性查询上的性能。

📝 摘要（中文）

越狱攻击通过在越狱提示词中隐藏有害查询来绕过大语言模型（LLM）的内置安全措施。现有的防御方法主要集中于减轻越狱提示词的影响，但由于越狱提示词可以采取任意的、自适应的形式，因此这些方法往往不足。本文提出了一种新的防御方法RobustKV，它采用了一种根本不同的方法，即选择性地从键值（KV）缓存中删除有害查询的关键token。直观地说，为了使越狱提示词有效，其token必须获得足够的“重要性”（通过注意力分数衡量），这不可避免地会降低隐藏的有害查询中token的重要性。因此，通过策略性地驱逐排名最低的token的KV，RobustKV减少了有害查询在KV缓存中的存在，从而阻止LLM生成恶意响应。使用基准数据集和模型的广泛评估表明，RobustKV有效地对抗了最先进的越狱攻击，同时保持了LLM在良性查询上的通用性能。此外，RobustKV为攻击者创造了一个有趣的规避困境，迫使他们在规避RobustKV和绕过LLM的内置安全措施之间取得平衡。这种权衡有助于RobustKV抵御自适应攻击。（警告：本文包含由LLM生成的潜在有害内容。）

🔬 方法详解

问题定义：论文旨在解决大语言模型（LLM）容易受到越狱攻击的问题。现有的防御方法主要集中于识别和减轻越狱提示词的影响，但由于攻击者可以设计任意的、自适应的提示词，这些方法往往效果不佳，无法有效阻止恶意响应的生成。

核心思路：RobustKV的核心思路是，有效的越狱攻击需要通过越狱提示词来降低有害查询的重要性。因此，通过策略性地从KV缓存中删除重要性较低的token（通常是属于有害查询的token），可以减少有害查询在KV缓存中的存在，从而阻止LLM生成恶意响应。这种方法不是直接检测或修改提示词，而是通过影响LLM的内部状态来防御攻击。

技术框架：RobustKV的整体框架包括以下步骤：1）接收用户输入（包含提示词和查询）；2）LLM处理输入并生成token的注意力分数；3）RobustKV根据注意力分数对token进行排序，并选择排名最低的token进行KV驱逐；4）LLM基于修改后的KV缓存生成响应。关键模块是KV驱逐模块，它根据注意力分数动态地选择要删除的token。

关键创新：RobustKV的关键创新在于其防御思路：不是直接对抗越狱提示词，而是通过操纵LLM的KV缓存来削弱有害查询的影响。与现有方法相比，RobustKV更具适应性，因为它不依赖于特定的提示词模式或特征。此外，RobustKV还为攻击者创造了一个规避困境，迫使他们在规避RobustKV和绕过LLM的内置安全措施之间进行权衡。

关键设计：RobustKV的关键设计包括：1）使用注意力分数作为token重要性的度量标准；2）动态调整KV驱逐的比例，以平衡安全性和性能；3）采用简单的排序和选择算法，以降低计算开销。具体的参数设置可能包括驱逐token的比例阈值，以及注意力分数的计算方式。论文可能还探讨了不同的排序算法对防御效果的影响。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，RobustKV能够有效防御最先进的越狱攻击，同时保持LLM在良性查询上的性能。具体而言，RobustKV在防御越狱攻击方面的成功率显著高于现有方法，并且对LLM的正常功能影响较小。此外，实验还验证了RobustKV对自适应攻击的鲁棒性，证明了其在实际应用中的潜力。

🎯 应用场景

RobustKV可应用于各种需要保护LLM免受恶意攻击的场景，例如聊天机器人、智能助手、内容生成平台等。通过提高LLM的安全性，RobustKV可以降低恶意内容传播的风险，并增强用户对LLM的信任。未来，RobustKV可以与其他防御机制结合，构建更强大的LLM安全体系。

📄 摘要（原文）

Jailbreak attacks circumvent LLMs' built-in safeguards by concealing harmful queries within jailbreak prompts. While existing defenses primarily focus on mitigating the effects of jailbreak prompts, they often prove inadequate as jailbreak prompts can take arbitrary, adaptive forms. This paper presents RobustKV, a novel defense that adopts a fundamentally different approach by selectively removing critical tokens of harmful queries from key-value (KV) caches. Intuitively, for a jailbreak prompt to be effective, its tokens must achieve sufficient `importance' (as measured by attention scores), which inevitably lowers the importance of tokens in the concealed harmful query. Thus, by strategically evicting the KVs of the lowest-ranked tokens, RobustKV diminishes the presence of the harmful query in the KV cache, thus preventing the LLM from generating malicious responses. Extensive evaluation using benchmark datasets and models demonstrates that RobustKV effectively counters state-of-the-art jailbreak attacks while maintaining the LLM's general performance on benign queries. Moreover, RobustKV creates an intriguing evasiveness dilemma for adversaries, forcing them to balance between evading RobustKV and bypassing the LLM's built-in safeguards. This trade-off contributes to RobustKV's robustness against adaptive attacks. (warning: this paper contains potentially harmful content generated by LLMs.)