Where to Start Alignment? Diffusion Large Language Model May Demand a Distinct Position

📄 arXiv: 2508.12398v2 📥 PDF

作者: Zhixin Xie, Xurui Song, Jun Luo

分类: cs.CR, cs.AI, cs.CL

发布日期: 2025-08-17 (更新: 2025-11-26)

备注: Accepted for oral presentation at AAAI 2026

💡 一句话要点

提出中间令牌安全对齐方法以提升扩散大语言模型安全性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散大语言模型 安全对齐 中间令牌 强化学习 自然语言处理 安全性研究 生成模型

📋 核心要点

  1. 现有的扩散大语言模型在安全性研究上存在不足，缺乏针对其独特生成特性的安全对齐方法。
  2. 本文提出中间令牌安全对齐（MOSA）方法，专注于对齐生成过程中的中间令牌，以提升模型的安全性。
  3. 实验结果显示，MOSA在安全性表现上显著优于传统方法，并在多个任务上展现出更高的实用性。

📝 摘要（中文）

扩散大语言模型（dLLMs）因其独特的训练和推理方法而成为一种竞争性的非自回归范式。然而，目前对这一新架构的安全性研究仍然缺乏。本文首次分析了dLLMs的安全性能，并提出了一种针对其生成特性的新型安全对齐方法。研究发现，防御者在安全性方面与攻击者之间存在关键的不对称性，防御者应关注响应的中间令牌，而非初始令牌。基于这一不对称性，本文提出了中间令牌安全对齐（MOSA）方法，通过强化学习直接对齐模型的中间生成与安全拒绝。实验结果表明，MOSA在安全性表现上优于八种攻击方法，并在编码、数学和一般推理任务中展现出良好的实用性。

🔬 方法详解

问题定义：本文旨在解决扩散大语言模型（dLLMs）在安全性方面的不足，现有方法未能有效考虑生成过程中中间令牌的重要性。

核心思路：提出中间令牌安全对齐（MOSA）方法，专注于对齐生成过程中的中间令牌，以此增强防御者的安全性。通过强化学习，MOSA直接对齐模型的中间生成与安全拒绝，利用生成过程中的不对称性。

技术框架：MOSA方法包括以下几个主要模块：首先，识别生成过程中的中间令牌；其次，设计强化学习策略以对齐这些中间令牌；最后，评估对齐后的模型在安全性和实用性上的表现。

关键创新：MOSA的核心创新在于识别并利用防御者与攻击者之间的生成不对称性，强调中间令牌的安全对齐，而非传统方法关注的初始令牌。

关键设计：在MOSA中，采用强化学习算法来优化中间令牌的对齐过程，设计了特定的损失函数以确保生成的安全性，同时在网络结构上进行了适当调整以支持中间令牌的处理。

📊 实验亮点

实验结果表明，MOSA在安全性表现上显著优于八种攻击方法，尤其在编码、数学和一般推理任务中，MOSA对齐的dLLM展现出更高的安全性和实用性，提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的安全生成任务，如对话系统、代码生成和数学推理等。通过提升扩散大语言模型的安全性，MOSA方法能够在实际应用中减少潜在的安全风险，增强用户信任，推动AI技术的安全发展。

📄 摘要（原文）

Diffusion Large Language Models (dLLMs) have recently emerged as a competitive non-autoregressive paradigm due to their unique training and inference approach. However, there is currently a lack of safety study on this novel architecture. In this paper, we present the first analysis of dLLMs' safety performance and propose a novel safety alignment method tailored to their unique generation characteristics. Specifically, we identify a critical asymmetry between the defender and attacker in terms of security. For the defender, we reveal that the middle tokens of the response, rather than the initial ones, are more critical to the overall safety of dLLM outputs; this seems to suggest that aligning middle tokens can be more beneficial to the defender. The attacker, on the contrary, may have limited power to manipulate middle tokens, as we find dLLMs have a strong tendency towards a sequential generation order in practice, forcing the attack to meet this distribution and diverting it from influencing the critical middle tokens. Building on this asymmetry, we introduce Middle-tOken Safety Alignment (MOSA), a novel method that directly aligns the model's middle generation with safe refusals exploiting reinforcement learning. We implement MOSA and compare its security performance against eight attack methods on two benchmarks. We also test the utility of MOSA-aligned dLLM on coding, math, and general reasoning. The results strongly prove the superiority of MOSA.