Rethinking the Generation Order of Block Diffusion Language Models

📄 arXiv: 2607.24306v1 📥 PDF

作者: Kai Syun Hou, James Kwok

分类: cs.CL

发布日期: 2026-07-27

备注: 20 pages, 15 figures, 6 tables

💡 一句话要点

提出PARD以优化块扩散语言模型的生成顺序

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 块扩散语言模型 并行自回归解码 生成模型 自然语言处理 采样方法

📋 核心要点

  1. 现有的采样方法主要针对早期的掩蔽扩散模型，未能充分利用块扩散语言模型的特性。
  2. 提出了一种新的采样方法PARD，旨在保留左到右的解掩结构，同时实现并行标记生成。
  3. 实验结果显示，PARD在生成质量上优于现有并行采样器，并在速度上显著提升，质量损失较小。

📝 摘要（中文）

扩散语言模型支持灵活的任意顺序生成，但现有采样方法主要针对早期的掩蔽扩散模型（MDMs）。本研究探讨了最近的块扩散语言模型（BDLMs）的采样问题。我们通过实证和分析表明，这些模型与从左到右的解码方式更为一致。基于这一观察，我们提出了并行自回归解码（PARD），这是一种简单的无训练采样方法，保留了从左到右的解掩结构，同时允许并行的标记承诺。大量实验表明，PARD在生成质量上始终优于现有的并行采样器，并在纯自回归解码中实现了显著的速度提升，且仅有小幅的质量差距。

🔬 方法详解

问题定义：本论文旨在解决块扩散语言模型（BDLMs）在生成过程中与现有采样方法不匹配的问题。现有方法主要针对早期的掩蔽扩散模型（MDMs），未能充分利用BDLMs的特性，导致生成效率低下。

核心思路：论文提出的PARD方法通过保留从左到右的解掩结构，允许并行生成标记，从而提高生成效率和质量。这种设计充分利用了BDLMs的特性，使得生成过程更为自然和高效。

技术框架：PARD方法的整体架构包括两个主要模块：首先是并行标记承诺模块，允许同时生成多个标记；其次是解掩模块，确保生成过程遵循从左到右的顺序。

关键创新：PARD的核心创新在于其训练无关的采样策略，能够在保持生成质量的同时实现并行处理。这与传统的自回归解码方法形成鲜明对比，后者通常是顺序生成，效率较低。

关键设计：在PARD中，关键参数包括并行生成的标记数量和解掩策略的设计。此外，损失函数的选择也对生成质量有显著影响，确保生成的标记符合语言模型的预期。通过这些设计，PARD在生成速度和质量上均表现出色。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，PARD在生成质量上显著优于现有的并行采样器，且在速度上实现了显著提升。具体而言，PARD在生成任务中比传统自回归解码快了数倍，同时仅有小幅的质量损失，展示了其在实际应用中的巨大潜力。

🎯 应用场景

该研究的潜在应用领域包括自然语言生成、对话系统和文本自动化等。通过提高生成效率和质量，PARD可以在实时应用中提供更好的用户体验，推动智能助手和内容创作工具的发展。未来，PARD方法可能会影响更广泛的语言模型研究和应用，促进更高效的生成技术的普及。

📄 摘要（原文）

Diffusion language models enable flexible arbitrary-order generation, but existing sampling methods are mostly designed for early masked diffusion models (MDMs). In this work, we study sampling for recent block diffusion language models (BDLMs). We show empirically and analytically that these models are naturally more aligned with left-to-right decoding than MDMs. Based on this observation, we propose Parallel Autoregressive Decoding (PARD), a simple training-free sampling method that preserves left-to-right unmasking structure while allowing parallel token commitment. Extensive experiments show that PARD consistently outperforms existing parallel samplers in generation quality, while achieving substantial speedups over pure AR decoding with only a small quality gap.