Parallelism, critical windows, and separations among diffusion language models
作者: Sitan Chen, Liye Wang
分类: cs.LG, cs.DS, math.ST, stat.ML
发布日期: 2026-09-17 (更新: 2026-09-18)
备注: 90 pages, v2: previous uploaded version was out-of-date
💡 一句话要点
提出对比分析以揭示扩散语言模型的并行性差异
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 扩散语言模型 并行生成 掩蔽扩散 均匀扩散 Gaussian扩散 自然语言处理 模型比较
📋 核心要点
- 现有的扩散语言模型在并行生成能力上的比较缺乏系统性分析，特别是在不同扩散方法之间的差异。
- 本文通过理论分析，提出了均匀和Gaussian扩散在前向传递次数上的新关系，揭示了掩蔽扩散的局限性。
- 研究结果表明，均匀和Gaussian扩散在特定条件下具有更优的并行性，挑战了掩蔽扩散的传统观点。
📝 摘要（中文）
扩散大型语言模型（dLLMs）因其高效的并行生成能力而受到关注，但不同扩散方法在并行性方面的比较尚不明确。本文对三种主要扩散方法（均匀扩散、Gaussian扩散和掩蔽扩散）进行了细致比较，证明了均匀和Gaussian扩散在前向传递次数上与底层分布的双重总相关性相关，而掩蔽扩散在某些情况下需要更多的前向传递次数。这一发现挑战了掩蔽扩散在并行化方面的传统看法，并为三种方法之间的并行性提供了首次可证明的分离。
🔬 方法详解
问题定义：本文旨在解决不同扩散语言模型在并行生成能力上的比较不足，尤其是掩蔽扩散与其他方法之间的差异。现有方法未能系统性地分析这些扩散方法的并行性。
核心思路：通过对均匀扩散、Gaussian扩散和掩蔽扩散的细致比较，论文提出了一种新的理论框架，揭示了它们在前向传递次数上的关系，尤其是掩蔽扩散的局限性。
技术框架：研究首先定义了不同扩散方法的并行性指标，然后通过数学推导分析了均匀和Gaussian扩散的前向传递次数与底层分布的双重总相关性之间的关系。最后，比较了掩蔽扩散的性能。
关键创新：论文首次证明了均匀和Gaussian扩散在某些条件下的前向传递次数与底层分布的复杂性相关，而掩蔽扩散则在特定情况下需要更多的前向传递次数，形成了三种方法之间的可证明分离。
关键设计：研究中使用了双重总相关性作为衡量指标，并通过构造随机经验测度来分析不同扩散方法的性能，确保了理论分析的严谨性。具体的参数设置和损失函数设计未在摘要中详细说明，需参考论文原文。
🖼️ 关键图片
📊 实验亮点
实验结果表明，均匀和Gaussian扩散在特定条件下的前向传递次数显著低于掩蔽扩散，具体表现为均匀和Gaussian扩散在某些情况下仅需$ ilde{Θ}( ext{sqrt}(d))$次，而掩蔽扩散则需$ ilde{Ω}(d)$次。这一发现为扩散语言模型的并行性提供了新的理论支持。
🎯 应用场景
该研究的结果对自然语言处理领域的模型设计具有重要意义，尤其是在需要高效文本生成的应用场景中，如对话系统、自动写作和内容生成等。通过优化扩散语言模型的并行性，可以显著提升生成效率和质量，推动相关技术的进一步发展。
📄 摘要（原文）
A popular selling point of diffusion large language models (dLLMs) is their capacity for parallelism: the ability to generate sequences of text far more efficiently than autoregressive models, which require one forward pass per token. Yet among the many competing paradigms for dLLMs, from masked to uniform to Gaussian diffusion, principled understanding of how these different proposals compare in parallelism remains limited. In this work, we initiate a fine-grained comparison of the capacity for parallelism among these three leading approaches and prove the following: - Uniform and Gaussian diffusion can sample in a number of forward passes which scales with the dual total correlation of the underlying distribution, a measure of intrinsic complexity which can be much smaller than the context length. Previously, it was only known how to achieve this using masked diffusion. - For a certain family of random empirical measures, we show that $\widetildeΘ(\sqrt{d})$ forward passes are necessary and sufficient to sample using uniform or Gaussian diffusion, yet there exist approximate score oracles for which $\widetildeΩ(d)$ forward passes are needed for masked diffusion. This establishes the first provable separation in parallelism between the three prevailing dLLM paradigms. Contrary to popular intuition that masked diffusions are harder to parallelize because they must commit to token values, the latter separation instead comes from the fact that the critical windows in masked diffusion sampling are asymptotically narrower than those in uniform and Gaussian diffusion sampling.