Boosting Jailbreak Transferability for Large Language Models

📄 arXiv: 2410.15645v2 📥 PDF

作者: Hanqing Liu, Lifeng Zhou, Huanqian Yan

分类: cs.AI

发布日期: 2024-10-21 (更新: 2024-11-03)

🔗 代码/项目: GITHUB

💡 一句话要点

提出增强转移性的方法以应对大型语言模型的越狱攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 越狱攻击 大型语言模型 安全对齐 转移性 攻击机制

📋 核心要点

  1. 现有方法在处理越狱攻击时表现出色，但在模型间的转移性上存在明显不足，限制了其应用。
  2. 本文提出了一种新的方法，通过引入场景诱导模板和优化后缀选择来增强攻击的转移性和一致性。
  3. 实验结果显示，所提方法在多个基准测试中实现了近100%的攻击成功率和转移性，显著优于现有技术。

📝 摘要（中文）

大型语言模型在安全对齐方面面临重大挑战，尤其是越狱攻击，这些攻击绕过安全措施生成有害内容。为了解决现有方法如GCG在单模型攻击中表现良好但缺乏转移性的问题，本文提出了多项增强措施，包括场景诱导模板、优化后缀选择以及重新后缀攻击机制的整合，以减少不一致输出。我们的方案在各种基准测试中表现优异，在攻击执行和转移性方面几乎达到了100%的成功率。值得注意的是，我们的方法在AISG主办的全球安全与安全LLMs挑战赛中获得第一名。代码已发布在https://github.com/HqingLiu/SI-GCG。

🔬 方法详解

问题定义：本文旨在解决大型语言模型面临的越狱攻击问题，现有方法如GCG在单一模型攻击中表现良好，但缺乏在不同模型间的转移性，导致攻击效果受限。

核心思路：我们提出通过场景诱导模板、优化后缀选择和重新后缀攻击机制的结合，来增强攻击的转移性和输出一致性，从而提升整体攻击效果。

技术框架：整体方法包括三个主要模块：首先是场景诱导模板的生成，其次是后缀选择的优化，最后是重新后缀攻击机制的实施。这些模块协同工作，形成一个完整的攻击流程。

关键创新：本文的关键创新在于引入了重新后缀攻击机制，这一机制能够有效减少输出的不一致性，显著提升了攻击的成功率和转移性，与现有方法相比具有本质区别。

关键设计：在参数设置上，我们对后缀选择进行了优化，确保选择的后缀能够最大化攻击效果。同时，损失函数设计上也进行了调整，以适应新的攻击机制，确保模型能够有效学习到攻击策略。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，所提方法在多个基准测试中实现了近100%的攻击成功率和转移性，显著优于现有的GCG方法，展示了在越狱攻击中的强大能力。这一成果使得我们的方法在AISG主办的全球挑战赛中获得了第一名，进一步验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括安全防护、内容过滤和恶意信息检测等。通过增强大型语言模型的安全性，可以有效防止其被用于生成有害内容，从而在社会和商业环境中提升安全性和信任度。未来，该方法可能推动更安全的AI系统的开发与应用。

📄 摘要（原文）

Large language models have drawn significant attention to the challenge of safe alignment, especially regarding jailbreak attacks that circumvent security measures to produce harmful content. To address the limitations of existing methods like GCG, which perform well in single-model attacks but lack transferability, we propose several enhancements, including a scenario induction template, optimized suffix selection, and the integration of re-suffix attack mechanism to reduce inconsistent outputs. Our approach has shown superior performance in extensive experiments across various benchmarks, achieving nearly 100% success rates in both attack execution and transferability. Notably, our method has won the first place in the AISG-hosted Global Challenge for Safe and Secure LLMs. The code is released at https://github.com/HqingLiu/SI-GCG.