Contextual Correction of Parallel Draftsfor Speculative Decoding
作者: Roy Eisenstadt, Harel Lidar, Tal Gonen, Omer Luxembourg, Itamar Zimerman, Lior Wolf, Eli David, Ilan Naiman
分类: cs.CL
发布日期: 2026-10-08
💡 一句话要点
提出DCOCO以解决并行草拟中的上下文依赖问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 并行草拟 上下文依赖 轻量级机制 自然语言处理 生成模型 高效解码 机器学习
📋 核心要点
- 现有的草拟方法在并行生成令牌时，缺乏对前面令牌的上下文依赖，导致生成质量下降。
- DCOCO通过保留多个候选令牌并评估其上下文兼容性，恢复了草拟过程中的上下文依赖性。
- 在四个验证器和十个基准测试中，DCOCO在所有配置下均实现了最高的吞吐量，速度提升显著。
📝 摘要（中文）
论文提出了一种名为DCOCO（DFlash Contextual Corrector）的轻量级机制，旨在恢复并行草拟中的上下文依赖性。现有的草拟方法在生成多个令牌时，缺乏对前面生成令牌的访问，导致上下文信息的丢失。DCOCO通过保留多个候选令牌并在相邻草拟位置并行评估其上下文兼容性，从而实现了低成本的上下文感知令牌选择。实验结果表明，DCOCO在多个验证器和基准测试中均表现出最高的平均吞吐量，相较于传统解码方法，速度提升高达6.6倍。
🔬 方法详解
问题定义：论文要解决的问题是现有的并行草拟方法在生成多个令牌时，缺乏对前面生成令牌的上下文依赖，导致生成质量和效率下降。现有方法在并行生成过程中，无法利用自回归生成中的内部依赖性。
核心思路：DCOCO的核心思路是通过保留多个候选令牌，并在相邻草拟位置并行评估其上下文兼容性，从而恢复上下文依赖性。这种设计允许在保持并行生成的同时，进行上下文感知的令牌选择。
技术框架：DCOCO的整体架构包括草拟模块和上下文校正模块。草拟模块负责生成多个候选令牌，而上下文校正模块则并行评估这些候选令牌的上下文兼容性，最终选择最合适的令牌。
关键创新：DCOCO的最重要创新在于其能够在并行草拟过程中恢复上下文依赖性，通过上下文评分机制实现了高效的令牌选择。这与传统的自回归方法形成了鲜明对比，后者在生成过程中依赖于序列化的令牌生成。
关键设计：DCOCO在参数设置上采用了轻量级的设计，确保在保持高吞吐量的同时，增加的计算成本最小。此外，网络结构上，DCOCO利用深度注意力机制来评估候选令牌的上下文兼容性，确保生成的令牌在上下文中具有更好的适应性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DCOCO在四个验证器和十个基准测试中均实现了最高的平均吞吐量，相较于传统解码方法，速度提升高达6.6倍。此外，在并发请求情况下，DCOCO的性能优于最强竞争方法6-23%，显示出其在高负载下的稳定性和优势。
🎯 应用场景
该研究的潜在应用场景包括自然语言处理中的文本生成、对话系统以及机器翻译等领域。通过提高生成效率和质量，DCOCO能够在实时应用中提供更流畅的用户体验，未来可能推动更复杂的语言模型在实际场景中的应用。
📄 摘要（原文）
Speculative decoding accelerates large language model inference by using a lightweight drafter to propose multiple tokens that are subsequently verified in parallel by the target model. Recent diffusion-based drafters make this paradigm particularly attractive: deep attention-based neural backbones provide strong predictions, while drafting multiple future positions in parallel avoids the sequential cost of autoregressive generation. This parallelism, however, comes at a cost. Tokens within a draft block are predicted without access to the realized identities of preceding draft tokens, removing intra-block dependencies that would naturally be available under autoregressive generation. We introduce DCOCO (DFlash Contextual Corrector), a lightweight mechanism that restores these dependencies while preserving parallel drafting. Rather than committing to each position's top prediction, DCOCO retains multiple candidate tokens and evaluates their contextual compatibility across adjacent draft positions in parallel, enabling contextually informed token selection at low additional cost. Across four verifier backbones and ten benchmarks, DCOCO achieves the highest average throughput in every evaluated configuration, spanning greedy and stochastic decoding with and without extended reasoning, with speedups of up to 6.6x over vanilla decoding. Its advantage persists under concurrent serving: DCOCO outperforms the strongest competing method by 6-23% across 4-32 concurrent requests, while other sequential correctors fall below uncorrected DFlash at these loads. These results demonstrate that recovering intra-block dependencies through parallel contextual scoring delivers consistent acceleration across decoding regimes and serving loads.