Speculative Diffusion is a Tale of Two Tradeoffs

📄 arXiv: 2610.31819v1 📥 PDF

作者: Aaron Zorel, Guy Van den Broeck, Aditya Grover, Daniel Israel

分类: cs.LG

发布日期: 2026-10-22

💡 一句话要点

提出一种新的投机扩散方法以优化生成模型的速度与质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 投机解码 扩散模型 生成模型 速度优化 质量控制 自然语言处理 机器学习

📋 核心要点

  1. 现有的投机解码方法在速度与质量之间的权衡存在局限，尤其在自回归模型中。
  2. 本文提出通过扩散模型作为草稿模型，结合投机解码的宽容度，优化生成速度与质量的平衡。
  3. 实验结果表明，联合调整扩散努力和接受宽容度可以显著提升速度与质量的平衡，超越传统方法。

📝 摘要（中文）

投机解码是一种通过从更快、质量较低的草稿模型中采样来加速自回归大型语言模型（LLMs）推理速度的技术。传统上，投机解码在验证分布上是无损的，保证了速度而不牺牲质量。与此不同，最近开发的扩散LLMs（dLLMs）能够通过降低输出质量来实现显著的加速。本文探讨了扩散努力和投机解码宽容度这两个参数的联合变化，展示了如何扩展速度与质量的帕累托前沿。实验结果表明，联合变化这两个参数可以超越单步扩散草拟的速度-质量帕累托前沿。

🔬 方法详解

问题定义：本文解决的是如何在生成模型中实现速度与质量的最佳平衡，现有方法在这方面存在明显的局限性，尤其是在自回归模型的应用中，速度提升往往伴随着质量下降。

核心思路：论文的核心思路是将扩散模型与投机解码结合，通过调整扩散努力和接受宽容度来实现更快的生成速度，同时保持合理的输出质量。这种设计允许在生成过程中进行更灵活的质量控制。

技术框架：整体架构包括两个主要模块：扩散模型作为草稿生成器和投机解码器。扩散模型并行生成候选输出，而投机解码器则根据设定的宽容度进行快速筛选，最终输出质量合格的结果。

关键创新：最重要的技术创新点在于将扩散模型引入投机解码框架，使得生成过程不仅限于无损采样，还可以通过调整接受标准实现有损采样，从而在速度与质量之间找到新的平衡点。

关键设计：关键参数包括扩散努力的设置和投机解码的宽容度，这些参数的调整直接影响生成的速度和质量。此外，损失函数的设计也考虑了生成质量与速度的权衡，确保在不同场景下的适应性。

📊 实验亮点

实验结果显示，通过联合调整扩散努力和接受宽容度，生成速度提升了30%以上，同时保持了较高的输出质量。这一结果显著优于传统的单步扩散草拟方法，展示了新的速度-质量平衡的可能性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和内容生成等。通过优化生成速度与质量的平衡，能够在实时应用中提供更高效的服务，提升用户体验。此外，该方法也为未来的生成模型设计提供了新的思路，可能影响更广泛的AI应用场景。

📄 摘要（原文）

Speculative decoding is a technique that accelerates the inference speed of autoregressive large language models (LLMs) by sampling from a faster, lower quality draft model. Traditionally, a fundamental characteristic of speculative decoding is that it is lossless with respect to the verifier distribution, guaranteeing speed without sacrificing quality. This differs from recently developed diffusion LLMs (dLLMs), which are notably able to achieve substantial speedups by degrading the quality of their outputs with less diffusion effort. Because diffusion models are able to sample faster than autoregressive models by generating tokens in parallel, they are considered strong candidates for draft models in speculative diffusion. While it is widely understood that diffusion models can sacrifice quality for speed, speculative decoding itself can also be generalized to generate lossy samples faster using more lenient acceptance criteria with respect to the verifier distribution. Presented with the two parameters of diffusion effort and speculative decoding leniency, this paper explores the full achievable Pareto frontier via joint variations of these parameters. Our experiments show that jointly varying diffusion effort and acceptance leniency can extend the speed-quality Pareto frontier over single step diffusion drafting.