Distribution Matching Distillation for Continuous Diffusion Language Models

📄 arXiv: 2609.40235v1 📥 PDF

作者: Paul Le Van Kiem, Dario Shariatian, Umut Simsekli, Alain Durmus

分类: cs.LG, cs.CL, stat.ML

发布日期: 2026-09-30

💡 一句话要点

提出分布匹配蒸馏以降低连续扩散语言模型的生成成本

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 连续扩散模型 分布蒸馏 生成困惑度 自然语言处理 网络评估 文本生成 概率输出

📋 核心要点

  1. 现有的连续扩散语言模型在生成高质量文本时需要大量的网络评估，导致计算成本高昂。
  2. 本文提出的分布匹配蒸馏方法通过利用学生模型的概率输出，显著降低了生成所需的网络评估次数。
  3. 在OpenWebText数据集上，Simplex-DMD和Reinforce-DMD分别在不同的NFEs下实现了显著的生成困惑度降低，验证了方法的有效性。

📝 摘要（中文）

连续扩散语言模型能够并行生成所有标记，但高质量生成仍需数百次网络评估（NFEs）。本文研究了如何通过利用学生模型的概率标记输出来降低这一成本，提出了分布蒸馏的方法。我们将学生输出参数化与梯度估计器连接，提出了两种方法：Simplex-DMD和Reinforce-DMD。Simplex-DMD在4次NFEs下实现了45.6的生成困惑度，相较于最强基线减少49%；而Reinforce-DMD在256次NFEs下达到了14.9的生成困惑度，减少20%。

🔬 方法详解

问题定义：本文旨在解决连续扩散语言模型在生成高质量文本时所需的高网络评估次数的问题。现有方法在生成过程中计算成本高，限制了其实际应用。

核心思路：论文提出的分布匹配蒸馏方法通过利用学生模型的概率输出，优化了生成过程，降低了所需的网络评估次数。通过将输出参数化与梯度估计器相连接，形成了两种不同的生成策略。

技术框架：整体架构包括两个主要方法：Simplex-DMD和Reinforce-DMD。Simplex-DMD使用连续标记放松和路径梯度，而Reinforce-DMD则采用分类采样和REINFORCE算法，结合学习的密度比。

关键创新：最重要的技术创新在于通过分布蒸馏方法有效降低了生成所需的网络评估次数，同时保持了生成质量。与现有方法相比，提出的策略在相同的熵和采样预算下表现出更优的性能。

关键设计：在Simplex-DMD中，采用了连续标记的放松和路径梯度计算；而在Reinforce-DMD中，使用了分类采样和REINFORCE算法，结合了学习的密度比，以优化生成过程。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在OpenWebText数据集上，Simplex-DMD在仅4次网络评估下实现了生成困惑度45.6，相较于最强基线减少49%；而Reinforce-DMD在256次网络评估下达到了14.9的生成困惑度，减少20%。这些结果表明了所提方法在生成效率和质量上的显著提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言生成、对话系统和文本摘要等。通过降低生成成本，能够使得大规模文本生成任务更加高效，推动相关技术在实际场景中的应用和发展。

📄 摘要（原文）

Continuous diffusion language models generate all tokens in parallel, yet high-quality generation can still require hundreds of network evaluations (NFEs). We study how distributional distillation can reduce this cost by exploiting the student's probabilistic token outputs. Our unified formulation connects the student's output parameterization to the resulting gradient estimators and yields two methods with the same student architecture and reverse-KL matching objective: Simplex-DMD uses continuous token relaxations and pathwise gradients, while Reinforce-DMD uses categorical sampling and REINFORCE with a learned density ratio. We develop both methods for multi-step generation and investigate the training and sampling choices associated with each parameterization. On OpenWebText, for sequences of 1,024 tokens, Simplex-DMD achieves a generative perplexity of 45.6 at a unigram entropy of 5.44 nats in just 4 NFEs, a 49% reduction relative to the strongest evaluated diffusion baseline at matched entropy and sampling budget. Reinforce-DMD improves the frontier at larger budgets, reaching a generative perplexity of 14.9 at an entropy of 5.00 nats with 256 NFEs, a 20% reduction under the same comparison protocol.