Large Language Continuous Diffusion Models
作者: Zhihan Yang, Wei Guo, Jean-Marie Lemercier, Simon Welker, Yonggan Fu, Mohammad Mahdi Kamani, Sajad Norouzi, Julius Berner, Tomas Geffner, Karsten Kreis, Yongxin Chen, Molei Tao, John Thickstun, Pavlo Molchanov, Ante Jukić, Arash Vahdat, Morteza Mardani
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-10-02
💡 一句话要点
提出Sigma以解决离散扩散语言模型的推理加速问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)
关键词: 连续扩散模型 推理加速 低维潜在轨迹 高保真生成 自然语言处理 代码生成 模型优化
📋 核心要点
- 现有的离散扩散语言模型在推理加速方面存在非平滑高维空间的限制，影响了轨迹引导的效果。
- 论文提出Sigma，通过可引导的低维ODE/SDE潜在轨迹构建连续dLM，优化了嵌入几何以提升推理能力。
- 在标准基准测试中，Sigma与离散模型表现相当，并在复杂推理任务中经过监督微调后取得了显著提升。
📝 摘要（中文）
尽管离散扩散语言模型（dLMs）在快速并行解码方面取得了成功，但其非平滑的高维空间限制了推理和推断的加速。为此，我们提出了Sigma，这是第一个基于可引导的低维ODE/SDE潜在轨迹的大规模（3B/8B）连续dLM。Sigma通过似然优化进行分块训练，同时去噪高斯污染的token嵌入并学习最佳嵌入几何。在推理过程中，我们发现无分类器引导和评分温度对高保真推理和编码至关重要。Sigma在综合数学推理和编码评估中，与最先进的离散模型（如掩蔽dLMs和自回归基线）相比，表现出竞争力。
🔬 方法详解
问题定义：论文要解决的问题是现有离散扩散语言模型在推理加速中的非平滑高维空间限制，导致轨迹引导效果不佳。
核心思路：Sigma通过构建可引导的低维ODE/SDE潜在轨迹，优化token嵌入的几何结构，从而提升推理和推断的效率。
技术框架：Sigma的整体架构包括分块训练、去噪高斯污染的token嵌入、以及在推理阶段应用无分类器引导和评分温度的模块。
关键创新：Sigma的主要创新在于首次实现了大规模的连续dLM，利用低维潜在轨迹有效提升了推理质量和多样性，区别于传统的高维离散模型。
关键设计：在训练过程中，Sigma采用了预训练自回归模型的权重进行热启动，损失函数设计为似然优化，同时在推理时调整评分温度以提高生成质量。
🖼️ 关键图片
📊 实验亮点
Sigma在标准基准测试（如GSM8K、Minerva、HumanEval、MBPP）中表现出与最先进的离散模型相当的性能，特别是在复杂推理任务（如MATH-500、AIME）中经过监督微调后，显著提升了推理能力，展示了其在高保真推理中的优势。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的推理任务、代码生成以及其他需要高效语言生成的场景。Sigma的设计理念和技术框架为未来的语言模型开发提供了新的思路，可能会在多种应用中产生深远影响。
📄 摘要（原文）
Despite the success of discrete diffusion language models (dLMs) for fast parallel decoding, their non-smooth, high-dimensional space hinders trajectory steering for reasoning and inference acceleration. To overcome this, we present Sigma, the first large-scale (3B/8B) continuous dLM built on steerable, low-dimensional ODE/SDE latent trajectories. Trained blockwise via likelihood optimization, Sigma jointly denoises Gaussian-corrupted token embeddings while learning an optimal embedding geometry. To accelerate training, Sigma leverages pre-trained weights from autoregressive (AR) models for warm-starting. During inference, we identify classifier-free guidance and score temperature as essential for high-fidelity reasoning and coding. Across comprehensive math reasoning and coding evaluations against state-of-the-art discrete counterparts (masked dLMs and AR baselines), Sigma achieves competitive performance with discrete models on standard benchmarks (e.g., GSM8K, Minerva, HumanEval, MBPP) after pre-training and on challenging reasoning tasks (e.g., MATH-500, AIME) after supervised fine-tuning. Beyond performance parity, we uncover key structural properties unique to continuous dLMs: (i) embedding-space steering effectively governs the quality-diversity trade-off, yielding strong pass@k performance and (ii) continuous trajectories enable graceful degradation for low NFEs and efficient distillation. These establish continuous dLMs as a promising paradigm for efficient language generation.