Parallelism, critical windows, and separations among diffusion language models

📄 arXiv: 2609.20539v1 📥 PDF

作者: Sitan Chen, Liye Wang

分类: cs.LG, cs.DS, math.ST, stat.ML

发布日期: 2026-09-17

备注: 90 pages

💡 一句话要点

提出精细比较以揭示扩散语言模型的并行性差异

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散语言模型 并行生成 自回归模型 均匀扩散 Gaussian扩散 掩蔽扩散 文本生成 机器学习

📋 核心要点

  1. 现有的扩散语言模型方法在并行生成文本的能力上缺乏系统的比较，尤其是在不同扩散机制之间的差异。
  2. 本文通过对均匀扩散、Gaussian扩散和掩蔽扩散的比较，提出了新的理论框架，揭示了它们在并行性上的本质差异。
  3. 研究结果表明，均匀和Gaussian扩散在前向传播次数上具有更优的表现，掩蔽扩散的关键窗口更窄，导致其并行化能力受限。

📝 摘要（中文）

扩散大语言模型（dLLMs）的一大卖点是其并行生成文本的能力，远超自回归模型。然而，目前对不同扩散方法在并行性上的比较仍然有限。本文对均匀扩散、Gaussian扩散和掩蔽扩散三种主流方法进行了细致比较，证明了均匀和Gaussian扩散在前向传播次数上与基础分布的双重总相关性成比例，而掩蔽扩散在某些情况下需要更多的前向传播次数。这一发现首次明确了三种dLLM范式之间的并行性差异，挑战了掩蔽扩散更难并行化的传统观点。

🔬 方法详解

问题定义：本文旨在解决不同扩散语言模型（dLLMs）在并行生成文本能力上的比较问题，现有方法对这一点的理解较为模糊，尤其是掩蔽扩散的并行性被普遍认为较差。

核心思路：通过对均匀扩散、Gaussian扩散和掩蔽扩散的细致分析，论文提出了一种新的比较框架，重点关注各方法在前向传播次数上的表现差异。

技术框架：研究首先定义了基础分布的双重总相关性作为衡量复杂性的指标，然后分析了三种扩散方法在采样过程中的前向传播需求，最后通过理论证明建立了它们之间的并行性差异。

关键创新：论文首次证明了均匀和Gaussian扩散在前向传播次数上与基础分布的复杂性成比例，而掩蔽扩散在某些情况下需要更多的前向传播次数，这一发现挑战了传统观点。

关键设计：研究中使用了随机经验测度的特定家族作为实验对象，分析了不同扩散方法在采样过程中的关键窗口宽度，揭示了掩蔽扩散的关键窗口相对较窄的特性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，均匀和Gaussian扩散在前向传播次数上仅需$ ilde{Θ}( ext{sqrt}(d))$，而掩蔽扩散在某些情况下需要$ ilde{Ω}(d)$次，首次明确了三种扩散方法在并行性上的显著差异，提供了理论支持。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的文本生成、对话系统以及机器翻译等。通过优化扩散语言模型的并行性，可以显著提升这些应用的效率和响应速度，推动智能对话和内容生成技术的发展。

📄 摘要（原文）

A popular selling point of diffusion large language models (dLLMs) is their capacity for parallelism: the ability to generate sequences of text far more efficiently than autoregressive models, which require one forward pass per token. Yet among the many competing paradigms for dLLMs, from masked to uniform to Gaussian diffusion, principled understanding of how these different proposals compare in parallelism remains limited. In this work, we initiate a fine-grained comparison of the capacity for parallelism among these three leading approaches and prove the following: - Uniform and Gaussian diffusion can sample in a number of forward passes which scales with the dual total correlation of the underlying distribution, a measure of intrinsic complexity which can be much smaller than the context length. Previously, it was only known how to achieve this using masked diffusion. - For a certain family of random empirical measures, we show that $\widetildeΘ(\sqrt{d})$ forward passes are necessary and sufficient to sample using uniform or Gaussian diffusion, yet there exist approximate score oracles for which $\widetildeΩ(d)$ forward passes are needed for masked diffusion. This establishes the first provable separation in parallelism between the three prevailing dLLM paradigms. Contrary to popular intuition that masked diffusions are harder to parallelize because they must commit to token values, the latter separation instead comes from the fact that the critical windows in masked diffusion sampling are asymptotically narrower than those in uniform and Gaussian diffusion sampling.