Enhancing Diffusion Language Models with Autoregressive Post-Training Weights

📄 arXiv: 2610.08108v1 📥 PDF

作者: Yiming Qin, Ke Wang, Amel Abdelraheem, Adam Hazimeh, Pascal Frossard

分类: cs.LG

发布日期: 2026-10-06

💡 一句话要点

提出A2D框架以利用自回归后训练权重增强扩散语言模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散语言模型 自回归模型 后训练 模型增强 自然语言处理 数学推理 编程任务

📋 核心要点

  1. 现有的扩散语言模型在转换后通常忽视自回归模型的后训练资源，导致性能未能充分发挥。
  2. 本文提出A2D框架，通过回收自回归模型的后训练权重更新，增强扩散模型的能力，且无需额外训练。
  3. 实验结果表明，A2D在多个dLLMs上有效提升了指令跟随、数学推理和编码能力，且无需增加推理时的计算负担。

📝 摘要（中文）

扩散语言模型（dLLMs）作为自回归语言模型（AR）的有力替代方案，提供了灵活的标记更新顺序和并行解码能力。现有的dLLMs通常在扩散转换前从预训练的AR模型初始化，以继承其学习到的表示。然而，转换后它们通常忽视了AR模型的后训练生态系统。本文展示了如何有效回收现有的AR后训练权重更新来增强扩散模型。尽管AR到扩散的转换带来了变化，直接将AR后训练权重更新添加到扩散基础模型仍然有效，使其性能接近直接扩散后训练的结果。AR和扩散后训练更新在权重空间中几乎正交，但在扩散模型中引起了显著更一致的表示变化。基于这些发现，我们提出了A2D，一个简单的无训练框架，用于利用现有AR后训练资源增强扩散模型。

🔬 方法详解

问题定义：本文旨在解决扩散语言模型在后训练阶段未能充分利用自回归模型的后训练权重更新的问题。现有方法在转换后忽视了AR模型的后训练生态，导致性能提升有限。

核心思路：论文提出的核心思路是回收自回归模型的后训练权重更新，以增强扩散模型的表现。通过将AR后训练权重直接添加到扩散基础模型中，可以有效提升其性能，且这种方法不需要额外的训练过程。

技术框架：A2D框架的整体架构包括两个主要模块：一是AR后训练权重的回收与整合，二是与扩散模型的结合与应用。该框架能够在不增加推理时间的情况下，提升模型的能力。

关键创新：最重要的技术创新在于提出了AR和扩散后训练更新的互补性，尽管它们在权重空间中几乎正交，但能在扩散模型中引起显著的表示变化。这一发现为模型的后训练提供了新的思路。

关键设计：在设计上，A2D框架不需要额外的训练过程，且通过组合AR和扩散的后训练更新，能够保留两者的优势。具体的参数设置和损失函数设计未在摘要中详细说明，需参考论文的具体内容。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，A2D在多个扩散语言模型上显著提升了性能，包括在指令跟随、数学推理和编码任务中。具体而言，A2D在不同模型上均实现了性能的可靠提升，且无需额外的训练或推理时间计算，展现了其高效性。

🎯 应用场景

该研究的潜在应用场景包括自然语言处理中的指令跟随、数学推理和编程任务等领域。通过增强扩散语言模型的能力，A2D框架能够在实际应用中提供更高效的解决方案，推动智能助手和自动化系统的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Diffusion language models (dLLMs) have emerged as a promising alternative to autoregressive (AR) language models, offering flexible token-update orders and parallel decoding. Recent dLLMs are often initialized from pretrained AR models before diffusion conversion in order to inherit their learned representations. After the conversion, however, they typically ignore the extensive post-training ecosystem of their AR ancestors. In this work, we show that these existing AR post-training weight updates can instead be effectively recycled to enhance diffusion models. Despite the changes by AR-to-diffusion conversion, directly adding an AR post-training weight update to a diffusion base model remains effective, bringing its performance close to that achieved by direct diffusion post-training. Notably, AR and diffusion post-training updates are nearly orthogonal in weight space, yet induce substantially more aligned representation changes in the diffusion model. Their distinct updates are also complementary: composing their weights can retain gains from both regimes and further improve the post-trained diffusion model. Based on these findings, we propose A2D, a simple training-free framework for enhancing diffusion models with existing AR post-training resources. A2D can transfer capabilities from AR post-trained models to diffusion base models, and further improve already post-trained diffusion models by composing AR and diffusion post-training updates. Across various dLLMs, including Dream, DreamReasoner, DiffuCoder, Dream-Coder, Nemotron-Labs-Diffusion, and DiffusionGemma, A2D reliably improves instruction following, mathematical reasoning, and coding with both supervised fine-tuning and reinforcement learning updates, without additional training, or inference-time computation.