Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion

📄 arXiv: 2408.05636v4 📥 PDF

作者: Jacob K Christopher, Brian R Bartoldson, Tal Ben-Nun, Michael Cardei, Bhavya Kailkhura, Ferdinando Fioretto

分类: cs.CL, cs.LG

发布日期: 2024-08-10 (更新: 2025-02-10)

备注: Published at the 2025 Annual Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics (NAACL 2025)

💡 一句话要点

SpecDiff：利用扩散模型加速语言生成中的推测解码

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推测解码 扩散模型 语言生成 并行计算 模型加速

📋 核心要点

  1. 现有推测解码方法依赖增量token生成，限制了并行化程度，成为加速语言模型推理的瓶颈。
  2. 论文提出SpecDiff，利用离散扩散模型并行生成草稿序列，实现草稿和验证步骤的全面并行化。
  3. 实验结果表明，SpecDiff在标准语言生成任务上，相比传统方法和现有推测解码方法，均实现了显著的加速。

📝 摘要（中文）

推测解码已成为一种广泛采用的方法，用于加速大型语言模型的推理，同时不牺牲模型输出的质量。虽然这项技术通过实现并行序列验证，显著提高了速度，但其效率仍然受到现有草稿模型中增量token生成的限制。为了克服这个限制，本文提出了一种推测解码的改进方法，该方法使用离散扩散模型来生成草稿序列。这允许草稿和验证步骤的并行化，从而显著加速推理过程。我们提出的方法，$ extit{Speculative Diffusion Decoding (SpecDiff)}$，在标准语言生成基准上进行了验证，并经验证表明，与标准生成过程相比，速度提高了7.2倍，与现有的推测解码方法相比，速度提高了1.75倍。

🔬 方法详解

问题定义：论文旨在解决大型语言模型推理速度慢的问题。现有的推测解码方法虽然能加速推理，但其草稿模型的token生成仍然是串行的，限制了整体的并行化程度，导致加速效果受限。

核心思路：论文的核心思路是利用离散扩散模型来并行生成草稿序列。扩散模型能够一次性生成多个token，从而避免了传统推测解码中逐个token生成的瓶颈，实现了草稿生成过程的并行化。

技术框架：SpecDiff的整体框架包括以下几个主要阶段：1) 使用扩散模型并行生成草稿序列；2) 使用目标语言模型并行验证草稿序列；3) 根据验证结果，接受或拒绝草稿序列中的token；4) 基于接受的token，继续生成后续序列。该框架的关键在于扩散模型的使用，它取代了传统推测解码中的自回归草稿模型。

关键创新：最重要的技术创新点在于使用离散扩散模型来生成草稿序列。与现有的推测解码方法相比，SpecDiff不再依赖于自回归的草稿模型，而是利用扩散模型的并行生成能力，实现了草稿生成过程的完全并行化。这种并行化带来了显著的加速效果。

关键设计：论文中使用了离散扩散模型，需要设计合适的噪声添加和去噪过程，以保证生成序列的质量。此外，还需要设计合适的验证策略，以确定哪些草稿token可以被接受。具体的参数设置、损失函数和网络结构等技术细节在论文中有详细描述，但在此不做过多展开。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SpecDiff在标准语言生成基准上实现了显著的加速。与标准生成过程相比，SpecDiff的速度提高了7.2倍。与现有的推测解码方法相比，SpecDiff的速度提高了1.75倍。这些结果表明，SpecDiff是一种有效的加速语言模型推理的方法。

🎯 应用场景

SpecDiff具有广泛的应用前景，可以应用于各种需要快速生成文本的场景，例如机器翻译、文本摘要、对话生成等。该方法可以显著提高这些应用的响应速度，提升用户体验。此外，SpecDiff还可以用于加速大型语言模型的训练过程，例如通过并行生成训练数据来加速模型的收敛。

📄 摘要（原文）

Speculative decoding has emerged as a widely adopted method to accelerate large language model inference without sacrificing the quality of the model outputs. While this technique has facilitated notable speed improvements by enabling parallel sequence verification, its efficiency remains inherently limited by the reliance on incremental token generation in existing draft models. To overcome this limitation, this paper proposes an adaptation of speculative decoding which uses discrete diffusion models to generate draft sequences. This allows parallelization of both the drafting and verification steps, providing significant speedups to the inference process. Our proposed approach, $\textit{Speculative Diffusion Decoding (SpecDiff)}$, is validated on standard language generation benchmarks and empirically demonstrated to provide up to 7.2x speedups over standard generation processes and up to 1.75x speedups over existing speculative decoding approaches.