AdaFlash: Adaptive Speculative Decoding via On-Policy Distilled Diffusion Drafters
作者: Yu-Yang Qian, Hao-Cong Wu, Chen Chen, Jiacheng Sun, Zhenhua Dong, Peng Zhao, Zhi-Hua Zhou
分类: cs.LG, cs.CL
发布日期: 2026-07-21
💡 一句话要点
提出AdaFlash以解决扩散草稿模型的高方差问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 扩散模型 草稿生成 在线蒸馏 动态调整 高并发 自然语言处理 推理效率
📋 核心要点
- 现有的扩散草稿模型在生成草稿序列时存在高方差问题，导致接受率和草稿质量波动较大。
- 提出的AdaFlash框架通过在线蒸馏算法和动态调整序列长度，旨在降低领域级和标记级的方差。
- 实验结果显示，AdaFlash在高并发场景下的速度提升显著，吞吐量比现有方法提高约66%。
📝 摘要（中文）
在这项研究中，作者提出了一种新的框架AdaFlash，旨在解决扩散草稿模型在生成草稿序列时面临的高方差问题。现有的扩散草稿模型虽然在并行生成和全局上下文建模方面表现良好，但由于双向注意力机制的引入，导致在不同领域和不同位置的接受率和草稿质量波动较大。AdaFlash通过引入基于反向KL散度的在线蒸馏算法和动态调整候选序列长度的适应性长度头，有效降低了领域级和标记级的方差。实验结果表明，AdaFlash在高并发场景下的吞吐量比现有最先进的方法提高了约66%。
🔬 方法详解
问题定义：本研究旨在解决扩散草稿模型在生成草稿序列时的高方差问题，现有方法在不同领域和标记位置的接受率和质量波动较大，影响了推理效率。
核心思路：提出的AdaFlash框架通过引入在线蒸馏算法和动态调整候选序列长度，旨在稳定生成过程，降低方差，从而提高推理速度和质量。
技术框架：AdaFlash框架包含两个主要组件：一是基于反向KL散度的在线蒸馏算法，二是适应性长度头，后者能够根据生成情况动态调整序列长度。
关键创新：最重要的创新在于结合了在线蒸馏和动态长度调整，解决了扩散草稿模型的高方差问题，与传统方法相比，提供了更稳定的生成效果。
关键设计：在在线蒸馏过程中，采用反向KL散度作为损失函数，以确保模型的稳定收敛；适应性长度头通过实时反馈调整候选序列长度，降低目标模型的验证成本。
🖼️ 关键图片
📊 实验亮点
实验结果表明，AdaFlash在高并发场景下的吞吐量比现有最先进的方法提高了约66%。这一显著提升展示了其在实际应用中的潜力，尤其是在需要快速响应的任务中。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的文本生成、对话系统以及其他需要快速推理的场景。通过提高生成效率和质量，AdaFlash能够在实际应用中显著提升用户体验，推动智能对话和内容生成技术的发展。
📄 摘要（原文）
Speculative decoding, in which a lightweight draft model first generates a draft sequence that is then verified in parallel by the target model, has become a prevalent paradigm for accelerating large language model inference. Recent work such as DFlash further boosts drafting efficiency by leveraging diffusion drafters, whose parallel denoising mechanism enables draft generation in a single forward pass. In this work, we uncover a central pitfall of diffusion drafters: bidirectional attention is a double-edged sword. On one hand, it endows the model with parallel generation and global contextual modeling capabilities; on the other hand, this inherent global dependency introduces high variance at both the domain-level and the token-level: acceptance rates fluctuate substantially across different domains, and draft token quality also varies heterogeneously at different token positions. To tackle this issue, we propose AdaFlash framework, comprising two components: (i) an on-policy distillation (OPD) algorithm with reverse-KL divergence tailored for diffusion drafters, bringing stable convergence and effectively reducing domain-level variance; and (ii) an adaptive length head that dynamically adjusts the candidate sequence length on the fly, substantially lowering the verification cost of the target model and handling token-level variance. Experiments demonstrate that AdaFlash consistently improves speedup rate during deployment, with especially significant gains in high-concurrency scenarios, achieving up to approximately 66% higher throughput than previous state-of-the-art methods.