JailPO: A Novel Black-box Jailbreak Framework via Preference Optimization against Aligned LLMs

📄 arXiv: 2412.15623v1 📥 PDF

作者: Hongyi Li, Jiawei Ye, Jie Wu, Tianjie Yan, Chu Wang, Zhixin Li

分类: cs.CR, cs.AI

发布日期: 2024-12-20

备注: Accepted by AAAI 2025

💡 一句话要点

提出JailPO，通过偏好优化实现针对对齐LLM的黑盒越狱攻击

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 越狱攻击 黑盒攻击 偏好优化 安全性评估

📋 核心要点

  1. 现有越狱攻击方法依赖手工模板或生成式优化，在可扩展性、效率和通用性方面存在挑战。
  2. JailPO通过训练攻击模型自动生成隐蔽的越狱提示，并结合偏好优化方法，提升攻击效率和效果。
  3. 实验表明，JailPO在自动化、有效性、效率、通用性和鲁棒性方面优于现有方法，并分析了不同攻击模式的特点。

📝 摘要（中文）

本文提出JailPO，一个新颖的黑盒越狱框架，用于评估与人类反馈对齐的大型语言模型（LLMs）的安全性。现有技术主要依赖手工模板或生成式优化，面临可扩展性、效率和通用性方面的挑战。JailPO通过训练攻击模型自动生成隐蔽的越狱提示来解决这些问题，从而提高可扩展性和通用性。此外，引入了基于偏好优化的攻击方法，以增强越狱效果，从而提高效率。为了分析模型漏洞，提供了三种灵活的越狱模式。实验结果表明，JailPO不仅实现了攻击过程的自动化，同时保持了有效性，而且在效率、通用性和针对防御的鲁棒性方面优于基线方法。对三种JailPO模式的分析表明，基于复杂模板的攻击表现出更高的攻击强度，而隐蔽的问题转换会引发风险更高的响应，并且更有可能绕过防御机制。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）的越狱攻击问题。现有方法，如手工模板或基于生成的优化，在可扩展性、效率和通用性方面存在局限性。手工模板依赖人工设计，难以覆盖所有可能的攻击场景；基于生成的优化计算成本高昂，且生成的提示可能不够隐蔽，容易被防御机制检测到。

核心思路：论文的核心思路是训练一个攻击模型，使其能够自动生成隐蔽的越狱提示。通过偏好优化，攻击模型能够学习生成更有效的提示，从而提高越狱成功率。这种方法旨在提高攻击的自动化程度、效率和通用性，使其能够适应不同的LLM和防御机制。

技术框架：JailPO框架包含以下主要模块：1) 攻击模型：用于生成越狱提示。2) 目标LLM：待攻击的大型语言模型。3) 偏好优化模块：根据LLM的输出，优化攻击模型的参数，使其生成更有效的提示。框架首先使用攻击模型生成初始提示，然后将提示输入目标LLM，获取LLM的输出。偏好优化模块根据LLM的输出，判断是否成功越狱，并使用强化学习或类似的优化算法，调整攻击模型的参数。

关键创新：JailPO的关键创新在于将偏好优化引入到黑盒越狱攻击中。传统的黑盒攻击方法通常依赖于随机搜索或梯度估计，效率较低。JailPO通过偏好优化，能够更有效地探索提示空间，找到能够绕过防御机制的隐蔽提示。此外，JailPO还提供了三种灵活的越狱模式，可以根据不同的攻击目标进行选择。

关键设计：JailPO的攻击模型可以使用各种神经网络结构，如Transformer或LSTM。偏好优化模块可以使用强化学习算法，如PPO或REINFORCE。损失函数的设计需要考虑越狱成功率和提示的隐蔽性。论文中具体使用的参数设置、损失函数和网络结构未知，需要参考论文的具体实现细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，JailPO在自动化攻击的同时保持了有效性，并在效率、通用性和针对防御的鲁棒性方面优于基线方法。具体性能数据和提升幅度未知，需要参考论文的具体实验结果。论文分析了三种JailPO模式，发现基于复杂模板的攻击强度更高，而隐蔽的问题转换更容易绕过防御机制。

🎯 应用场景

JailPO可用于评估和提高大型语言模型的安全性。通过自动化地发现LLM的漏洞，可以帮助开发者更好地理解模型的弱点，并设计更有效的防御机制。此外，JailPO还可以用于评估不同防御策略的有效性，从而选择最佳的防御方案。该研究对于确保LLM的安全可靠应用具有重要意义。

📄 摘要（原文）

Large Language Models (LLMs) aligned with human feedback have recently garnered significant attention. However, it remains vulnerable to jailbreak attacks, where adversaries manipulate prompts to induce harmful outputs. Exploring jailbreak attacks enables us to investigate the vulnerabilities of LLMs and further guides us in enhancing their security. Unfortunately, existing techniques mainly rely on handcrafted templates or generated-based optimization, posing challenges in scalability, efficiency and universality. To address these issues, we present JailPO, a novel black-box jailbreak framework to examine LLM alignment. For scalability and universality, JailPO meticulously trains attack models to automatically generate covert jailbreak prompts. Furthermore, we introduce a preference optimization-based attack method to enhance the jailbreak effectiveness, thereby improving efficiency. To analyze model vulnerabilities, we provide three flexible jailbreak patterns. Extensive experiments demonstrate that JailPO not only automates the attack process while maintaining effectiveness but also exhibits superior performance in efficiency, universality, and robustness against defenses compared to baselines. Additionally, our analysis of the three JailPO patterns reveals that attacks based on complex templates exhibit higher attack strength, whereas covert question transformations elicit riskier responses and are more likely to bypass defense mechanisms.