Jailbreaking Large Language Diffusion Models: Revealing Hidden Safety Flaws in Diffusion-Based Text Generation

📄 arXiv: 2507.19227v1 📥 PDF

作者: Yuanhe Zhang, Fangzhou Xie, Zhenhong Zhou, Zherui Li, Hao Chen, Kun Wang, Yufei Guo

分类: cs.CL

发布日期: 2025-07-25

💡 一句话要点

提出PAD攻击，揭示大型语言扩散模型在安全性上的脆弱性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言扩散模型 越狱攻击 安全漏洞 并行解码 多点注意力攻击

📋 核心要点

  1. 现有针对大型语言模型的越狱攻击方法在大型语言扩散模型上效果不佳，无法有效暴露其安全漏洞。
  2. 提出并行解码越狱(PAD)方法，通过多点注意力攻击引导扩散模型的并行生成过程产生有害输出。
  3. 实验表明PAD在多个LLDM上实现了高达97%的越狱成功率，并发现LLDM的有害内容生成速度是同等规模LLM的两倍。

📝 摘要（中文）

大型语言扩散模型(LLDMs)在推理速度和数学推理任务上表现出与大型语言模型(LLMs)相当的性能。LLDMs精确而快速的生成能力加剧了有害内容生成的担忧，而现有的为LLMs设计的越狱方法对LLDMs效果有限，无法暴露其安全漏洞。成功的防御并不能明确解决有害生成的问题，因为LLDMs是否具有安全鲁棒性或者现有攻击与基于扩散的架构不兼容尚不清楚。为了解决这个问题，我们首先揭示了LLDMs容易受到越狱攻击的脆弱性，并证明了LLDMs中攻击失败源于基本的架构差异。我们提出了一种用于基于扩散的语言模型的并行解码越狱(PAD)方法。PAD引入了多点注意力攻击，引导并行生成过程产生受LLMs中肯定响应模式启发的有害输出。在四个LLDMs上的实验评估表明，PAD实现了97%的越狱攻击成功率，揭示了显著的安全漏洞。此外，与相同大小的自回归LLMs相比，LLDMs将有害生成速度提高了2倍，显著突出了不受控制的滥用风险。通过全面的分析，我们对LLDM架构进行了研究，为基于扩散的语言模型的安全部署提供了重要的见解。

🔬 方法详解

问题定义：论文旨在解决大型语言扩散模型（LLDMs）的安全漏洞问题。现有针对大型语言模型（LLMs）的越狱攻击方法在LLDMs上效果不佳，无法有效暴露LLDMs的安全风险。因此，如何有效地攻击LLDMs，并深入理解其安全脆弱性是本文要解决的核心问题。

核心思路：论文的核心思路是利用LLDMs的并行生成特性，设计一种新的攻击方法，即并行解码越狱（PAD）。PAD通过引入多点注意力攻击，同时引导多个生成过程朝着有害输出的方向发展。这种方法借鉴了LLMs中肯定响应的模式，从而更有效地欺骗LLDMs，使其生成有害内容。

技术框架：PAD攻击方法主要包含以下几个阶段： 1. 目标选择：选择需要攻击的LLDM模型。 2. 提示构建：构建包含有害意图的初始提示。 3. 多点注意力攻击：利用多点注意力机制，在并行解码过程中同时引导多个生成分支朝着有害输出的方向发展。 4. 生成与评估：生成最终的输出，并评估攻击的成功率。

关键创新：PAD方法的关键创新在于其利用了LLDMs的并行解码特性，通过多点注意力攻击同时引导多个生成过程。与传统的针对LLMs的攻击方法不同，PAD能够更有效地利用LLDMs的架构特点，从而实现更高的攻击成功率。

关键设计：PAD的关键设计包括： 1. 多点注意力机制：通过调整注意力权重，引导模型关注与有害意图相关的token。 2. 并行解码策略：同时生成多个候选输出，并选择其中最有害的作为最终结果。 3. 损失函数设计：可以使用对抗损失或梯度引导等方法，进一步优化攻击效果。具体参数设置和网络结构细节可能因不同的LLDM模型而异，需要根据实际情况进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的PAD攻击方法在四个不同的LLDM模型上实现了高达97%的越狱成功率，显著高于现有的攻击方法。此外，研究还发现，与相同规模的自回归LLM相比，LLDM生成有害内容的速度提高了2倍，突显了LLDM在安全方面的潜在风险。

🎯 应用场景

该研究成果可应用于评估和提升大型语言扩散模型的安全性，帮助开发者识别和修复潜在的安全漏洞。此外，该研究还可以促进对扩散模型架构的深入理解，为开发更安全的扩散模型提供指导。该研究对于防范LLDM被恶意利用，生成有害信息具有重要意义。

📄 摘要（原文）

Large Language Diffusion Models (LLDMs) exhibit comparable performance to LLMs while offering distinct advantages in inference speed and mathematical reasoning tasks.The precise and rapid generation capabilities of LLDMs amplify concerns of harmful generations, while existing jailbreak methodologies designed for Large Language Models (LLMs) prove limited effectiveness against LLDMs and fail to expose safety vulnerabilities.Successful defense cannot definitively resolve harmful generation concerns, as it remains unclear whether LLDMs possess safety robustness or existing attacks are incompatible with diffusion-based architectures.To address this, we first reveal the vulnerability of LLDMs to jailbreak and demonstrate that attack failure in LLDMs stems from fundamental architectural differences.We present a PArallel Decoding jailbreak (PAD) for diffusion-based language models. PAD introduces Multi-Point Attention Attack, which guides parallel generative processes toward harmful outputs that inspired by affirmative response patterns in LLMs. Experimental evaluations across four LLDMs demonstrate that PAD achieves jailbreak attack success rates by 97%, revealing significant safety vulnerabilities. Furthermore, compared to autoregressive LLMs of the same size, LLDMs increase the harmful generation speed by 2x, significantly highlighting risks of uncontrolled misuse.Through comprehensive analysis, we provide an investigation into LLDM architecture, offering critical insights for the secure deployment of diffusion-based language models.