LLM-Virus: Evolutionary Jailbreak Attack on Large Language Models

📄 arXiv: 2501.00055v1 📥 PDF

作者: Miao Yu, Junfeng Fang, Yingjie Zhou, Xing Fan, Kun Wang, Shirui Pan, Qingsong Wen

分类: cs.CR, cs.AI, cs.CL

发布日期: 2024-12-28

💡 一句话要点

LLM-Virus：基于进化算法的大语言模型越狱攻击方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 越狱攻击 进化算法 对抗攻击 安全性评估

📋 核心要点

  1. 现有越狱攻击方法缺乏透明度、可迁移性，且计算成本高昂，难以有效评估和提升LLM的安全性。
  2. LLM-Virus借鉴生物病毒的进化和感染机制，利用进化算法和LLM的启发式能力，高效生成具有高迁移性的越狱攻击。
  3. 实验表明，LLM-Virus在多个安全基准测试中，相较于现有攻击方法，展现出更具竞争力的攻击性能。

📝 摘要（中文）

随着安全对齐的大语言模型（LLMs）越来越多地被用作强大系统的基石，例如用于解决复杂现实世界问题的多智能体框架，它们仍然面临潜在的对抗性查询，例如越狱攻击，这些攻击试图诱导有害内容。研究攻击方法使我们能够更好地理解LLM的局限性，并在有用性和安全性之间做出权衡。然而，现有的越狱攻击主要基于不透明的优化技术（例如，token级别的梯度下降）和启发式搜索方法（如LLM改进），这些方法在透明度、可迁移性和计算成本方面存在不足。鉴于这些局限性，我们从生物病毒的进化和感染过程获得灵感，并提出LLM-Virus，一种基于进化算法的越狱攻击方法，称为进化越狱。LLM-Virus将越狱攻击视为一个进化和迁移学习问题，利用LLM作为启发式进化算子，以确保高攻击效率、可迁移性和低时间成本。我们在多个安全基准上的实验结果表明，与现有的攻击方法相比，LLM-Virus实现了有竞争力的甚至更优越的性能。

🔬 方法详解

问题定义：论文旨在解决现有大语言模型越狱攻击方法的局限性。现有方法如基于梯度下降的token级别优化和启发式搜索，存在不透明、迁移性差、计算成本高等问题，难以有效且高效地发现LLM的安全漏洞。这些方法的局限性阻碍了对LLM安全性的全面评估和改进。

核心思路：论文的核心思路是将越狱攻击问题建模为一个进化和迁移学习问题。借鉴生物病毒的进化和感染过程，利用进化算法来搜索有效的攻击提示。同时，利用LLM自身作为启发式进化算子，指导攻击提示的生成和优化，从而提高攻击效率和迁移性。

技术框架：LLM-Virus的整体框架包含以下几个主要阶段：1) 初始化种群：随机生成或使用现有攻击提示作为初始种群。2) 进化操作：利用LLM作为启发式算子，对种群中的个体（攻击提示）进行变异、交叉等操作，生成新的攻击提示。LLM根据当前提示的攻击效果，生成更有效的变异。3) 评估：使用目标LLM评估每个攻击提示的攻击效果（例如，是否成功诱导LLM生成有害内容）。4) 选择：根据攻击效果，选择优秀的个体进入下一代种群。重复进化、评估和选择过程，直到达到预定的迭代次数或攻击成功率。

关键创新：LLM-Virus的关键创新在于将LLM自身作为进化算法的启发式算子。传统进化算法通常使用固定的变异和交叉算子，而LLM-Virus利用LLM的生成能力和对语义的理解，生成更具针对性和有效性的变异。这使得LLM-Virus能够更高效地搜索到有效的攻击提示，并提高攻击提示的迁移性。与现有方法相比，LLM-Virus更透明、可解释，且计算成本更低。

关键设计：LLM-Virus的关键设计包括：1) 使用LLM生成变异提示的prompt设计，需要精心设计prompt以引导LLM生成有效的攻击提示。2) 适应度函数的设计，用于评估攻击提示的攻击效果，需要能够准确反映攻击提示是否成功诱导LLM生成有害内容。3) 进化算法的参数设置，例如种群大小、迭代次数、变异率等，需要根据具体任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM-Virus在多个安全基准测试中取得了优异的攻击性能，与现有攻击方法相比，实现了有竞争力的甚至更优越的攻击成功率。例如，在某些基准测试中，LLM-Virus的攻击成功率超过了现有方法的10%以上。此外，LLM-Virus还展现出良好的迁移性，能够成功攻击不同的大语言模型。

🎯 应用场景

LLM-Virus可用于评估和提升大语言模型的安全性，帮助开发者发现和修复LLM的安全漏洞。该方法还可以用于构建更强大的防御机制，例如对抗训练，以提高LLM对越狱攻击的鲁棒性。此外，该研究对于理解LLM的局限性以及在有用性和安全性之间进行权衡具有重要意义。

📄 摘要（原文）

While safety-aligned large language models (LLMs) are increasingly used as the cornerstone for powerful systems such as multi-agent frameworks to solve complex real-world problems, they still suffer from potential adversarial queries, such as jailbreak attacks, which attempt to induce harmful content. Researching attack methods allows us to better understand the limitations of LLM and make trade-offs between helpfulness and safety. However, existing jailbreak attacks are primarily based on opaque optimization techniques (e.g. token-level gradient descent) and heuristic search methods like LLM refinement, which fall short in terms of transparency, transferability, and computational cost. In light of these limitations, we draw inspiration from the evolution and infection processes of biological viruses and propose LLM-Virus, a jailbreak attack method based on evolutionary algorithm, termed evolutionary jailbreak. LLM-Virus treats jailbreak attacks as both an evolutionary and transfer learning problem, utilizing LLMs as heuristic evolutionary operators to ensure high attack efficiency, transferability, and low time cost. Our experimental results on multiple safety benchmarks show that LLM-Virus achieves competitive or even superior performance compared to existing attack methods.