d-OPD: Future-Aware On-Policy Distillation for Block Diffusion Language Models

📄 arXiv: 2609.35362v1 📥 PDF

作者: Ruitao Liu, Qinghao Hu, Song Han

分类: cs.LG, cs.AI

发布日期: 2026-09-28

🔗 代码/项目: GITHUB

💡 一句话要点

提出d-OPD以解决AR与块扩散模型监督不匹配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 块扩散模型 在线蒸馏 自回归模型 未来感知 语言模型 生成优化 深度学习

📋 核心要点

  1. 现有的在线蒸馏方法在AR到块扩散模型的转换中存在教师与学生监督不匹配的问题。
  2. 本文提出d-OPD，通过整合块内可见的未来信息，校正教师分布以更好地匹配学生的状态。
  3. 在Qwen3模型的实验中，d-OPD在六个基准上平均提升了4.0分，并显著减少了训练时间。

📝 摘要（中文）

大型语言模型（LLMs）通常采用自回归（AR）方式生成文本，一次预测一个标记。而块扩散语言模型（dLLMs）则通过并行去噪多个标记以加速生成。近期研究通过蒸馏将强大的预训练AR模型适应为块dLLMs。现有的在线蒸馏（OPD）方法在训练中使用当前策略生成的状态进行监督，但在AR到块扩散的转换中，教师和学生在同一训练状态下条件不同，导致监督不匹配。为此，本文提出了d-OPD，一种未来感知的在线蒸馏方法，通过整合可见的未来信息来校正教师分布，从而提供更匹配学生信息的监督。实验表明，d-OPD在Qwen3模型上提升了六个基准的平均分数，训练时间减少了1.35到1.58倍。

🔬 方法详解

问题定义：本文旨在解决在AR到块扩散模型转换中，教师与学生之间的监督不匹配问题。现有的在线蒸馏方法未能考虑学生在生成过程中可见的未来信息，导致监督效果不佳。

核心思路：论文提出d-OPD，通过引入未来信息来校正教师分布，使其与学生的可见状态更为一致，从而提供更相关的监督。这样的设计旨在减少训练与生成之间的差异，提高模型的生成质量。

技术框架：d-OPD的整体架构包括两个主要模块：教师模型和学生模型。教师模型基于自回归生成的历史信息，而学生模型则在生成过程中考虑未来的上下文信息。通过这种方式，教师的输出能够更好地反映学生的输入状态。

关键创新：d-OPD的核心创新在于将未来信息整合进教师分布的校正过程，这是与现有方法的本质区别。通过这种方式，d-OPD能够提供更为精准的监督，减少了信息不对称带来的影响。

关键设计：在参数设置上，d-OPD采用了特定的损失函数来衡量教师与学生之间的输出差异，并在网络结构上进行了优化，以确保模型能够有效地处理未来信息的整合。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，d-OPD在Qwen3模型上相较于OPDLM提升了六个基准的平均分数，最高提升达4.0分，同时训练时间减少了1.35到1.58倍，展现出显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言生成、对话系统和文本摘要等。通过提高块扩散语言模型的生成效率和质量，d-OPD可以在实际应用中显著提升用户体验，推动智能对话和内容生成技术的发展。

📄 摘要（原文）

Large language models (LLMs) typically generate text autoregressively (AR), predicting one token at a time. Block diffusion language models (dLLMs) instead generate blocks sequentially while denoising multiple tokens in parallel within each block, offering a promising way to accelerate generation. Rather than training such models from scratch, recent work adapts strong pretrained AR models into block dLLMs through distillation. On-policy distillation (OPD) has been widely used for LLM training because it supervises the student on states generated by its current policy, rather than only on fixed offline trajectories. By training on the states the student actually visits, it reduces the mismatch between training and generation and can provide more relevant supervision as the student evolves. Recent work has extended this idea to AR-to-block-diffusion conversion. However, this setting introduces a fundamental mismatch in supervision: the block-diffusion student and the causal AR teacher condition on different information at the same training state. The student predicts from the entire partially denoised block, including visible future context, whereas the standard AR teacher target is defined only from the causal prefix. As a result, the teacher distribution used for distillation is not fully aligned with the information available to the student. We therefore introduce d-OPD, a future-aware on-policy distillation method that corrects the AR teacher distribution to better align with the student-visible state by incorporating visible future information within each block, providing supervision that better matches the information used by the student. Across Qwen3 models from 0.6B to 8B, d-OPD improves the six-benchmark average by up to $4.0$ points over OPDLM and reduces training time by $1.35$-$1.58\times$. The code is available at https://github.com/mit-han-lab/d-OPD.