DLoop: Looped Speculative Decoding
作者: Geonmo Gu, Byeongho Heo, HeeJae Jun, Yoohoon Kang, Sangmin Lee, Sangdoo Yun, Dongyoon Han
分类: cs.CL
发布日期: 2026-10-06
备注: 22 pages
🔗 代码/项目: GITHUB
💡 一句话要点
提出DLoop以提升自回归生成的解码效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 推测解码 自回归生成 草拟模型 目标模型 解码效率 循环训练 自然语言处理
📋 核心要点
- 现有的推测解码方法在草拟阶段与验证阶段之间的切换导致了目标模型的前向传递次数过多，影响了生成效率。
- DLoop通过在草拟模型信心足够时，继续草拟多个令牌并一起进行验证，减少了目标模型的前向传递次数。
- 实验结果显示，DLoop在多种解码方法中提升了5%至41%的速度，且保持了解码的无损性。
📝 摘要（中文）
论文提出了一种名为DLoop的循环式推测解码方法，旨在加速大型语言模型的自回归生成。在每个草拟阶段，轻量级草拟模型提出令牌，目标模型随后进行验证。研究发现，随着草拟模型能力的提升，目标模型经常接受所有生成的令牌。DLoop通过在验证之前自适应地执行多个草拟阶段，减少了目标模型的前向传递次数，从而提高了解码速度。实验结果表明，DLoop在多种推测解码方法中提升了5%至41%的速度，同时保持无损解码。
🔬 方法详解
问题定义：论文要解决的问题是现有推测解码方法在草拟与验证阶段之间频繁切换，导致目标模型的前向传递次数过多，从而降低生成效率。
核心思路：DLoop的核心思路是自适应地在验证之前执行多个草拟阶段，利用草拟模型的信心来决定是否继续草拟，从而减少目标模型的验证次数。
技术框架：DLoop的整体架构包括草拟模型和目标模型两个主要模块。在草拟阶段，草拟模型生成令牌并判断是否继续草拟；在验证阶段，目标模型对所有累积的草拟令牌进行验证。
关键创新：DLoop的关键创新在于循环式推测解码，通过在草拟阶段使用草拟模型的隐藏状态，增强了草拟模型的可靠性，显著减少了目标模型的前向传递次数。
关键设计：在设计中，DLoop采用了循环感知训练，使草拟模型在额外的草拟阶段中保持可靠性，同时通过增加草拟模型的前向传递次数来优化目标模型的验证过程。具体的参数设置和损失函数设计尚未详细披露。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DLoop在多种推测解码方法中实现了5%至41%的速度提升，相较于基线方法显著提高了解码效率，同时保持了无损解码的特性。这一成果展示了DLoop在实际应用中的巨大潜力。
🎯 应用场景
DLoop的研究成果在自然语言生成、对话系统和文本摘要等领域具有广泛的应用潜力。通过提升解码效率，DLoop能够在实时应用中提供更快的响应速度，改善用户体验，并推动大型语言模型在实际场景中的应用。未来，DLoop的技术也可能被扩展到其他生成任务中。
📄 摘要（原文）
Speculative decoding accelerates autoregressive generation in large language models. In each drafting stage, a lightweight draft model proposes tokens that the target model subsequently verifies. With increasingly capable draft models, we find that the target model frequently accepts all tokens produced in a drafting stage. A verification nevertheless follows each drafting stage, resulting in unnecessary target-model forward passes even when drafting could have continued. Adaptive draft length methods decide during decoding how many draft tokens precede a verification, but they raise the speedup only for autoregressive draft models. For a parallel draft model, drafting further requires target-model hidden states for draft tokens that have not been verified. We propose DLoop, a looped form of speculative decoding that adaptively performs multiple drafting stages before verification. DLoop continues drafting while the draft model remains confident and verifies all accumulated draft tokens together. Loop-aware training keeps the draft model reliable in the additional drafting stages by exposing it to its own hidden states for unverified draft tokens. By spending additional draft-model forward passes, DLoop reduces the number of target-model forward passes required for verification. Across diverse speculative decoding methods including EAGLE-3, DFlash, Domino, DSpark, and multi-token prediction modules, DLoop improves the wall-clock speedup by 5 to 41 percent while preserving lossless decoding. Code will be available at https://github.com/naver-ai/DLoop.