DRelay: Global Draft Context for Prefix-Aware Parallel Speculative Decoding Repair

📄 arXiv: 2610.01439v1 📥 PDF

作者: Zhuoyu Wang, Junnan Huang, Xinyu Chen

分类: cs.AI

发布日期: 2026-10-01

💡 一句话要点

提出DRelay以解决大语言模型的前缀选择错误问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推测解码 大语言模型 前缀感知 选择性修复 并行草拟 性能提升 自然语言处理

📋 核心要点

  1. 现有的并行草拟方法在处理大语言模型时，因前缀长度的限制，导致推测解码的效率提升有限。
  2. DRelay通过利用全局信息进行前缀感知的选择性修复，能够在目标模型验证前纠正早期选择错误，扩展接受的前缀。
  3. 在多项基准测试中，DRelay在平均接受长度和端到端解码性能上均显著优于现有方法，提升幅度可达16.8%。

📝 摘要（中文）

并行草拟减少了大语言模型（LLMs）推测解码的草拟开销，但其收益受限于接受的前缀长度。即使候选池中存在正确的标记，单个早期选择错误也会阻止后续预测的使用。我们提出DRelay，利用整个草拟块的全局信息，在目标模型验证之前进行前缀感知的选择性修复。DRelay基于候选相关性和选择路径进行决策，全球读取器提取每个候选的预测信息，而因果选择器结合候选级信息与前面位置选择的标记，判断当前选择是否与全局证据和选择的前缀一致。通过联合训练草拟骨干和选择器，DRelay在八个不同基准上持续提高了平均接受长度和端到端解码性能。

🔬 方法详解

问题定义：论文要解决的问题是大语言模型在推测解码过程中，由于前缀选择错误导致后续预测无法使用的情况。现有方法在处理候选池时，未能有效利用全局信息，限制了性能提升。

核心思路：DRelay的核心思路是利用全局信息进行前缀感知的选择性修复，通过候选相关性和选择路径来判断当前选择的有效性，从而修复早期错误。

技术框架：DRelay的整体架构包括全球读取器和因果选择器两个主要模块。全球读取器提取每个候选的预测信息，而因果选择器结合候选信息与前面位置的选择，进行决策。

关键创新：DRelay的关键创新在于其选择性修复机制，能够在目标模型验证前纠正错误，扩展接受的前缀。这一机制与现有方法的选择性修复策略有本质区别。

关键设计：在设计中，DRelay联合训练草拟骨干和选择器，结合候选支持学习与修复目标，同时根据每个块位置对连续接受前缀的潜在贡献加权修复损失。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在八个不同的基准测试中，DRelay在平均接受长度和端到端解码性能上均显著优于DFlash、Domino和DSpark，提升幅度分别为14.7%-16.8%、8.7%-9.3%和8.1%-9.3%。

🎯 应用场景

DRelay的研究成果可广泛应用于自然语言处理领域，尤其是在需要高效推测解码的大语言模型中。其修复机制能够显著提升模型的解码性能和速度，具有重要的实际价值和潜在的商业应用前景。

📄 摘要（原文）

Parallel drafting reduces the drafting overhead of speculative decoding for large language models (LLMs), but its gains remain limited by the accepted prefix length. Even when the correct token is present in the candidate pool, a single early selection error prevents subsequent predictions from being used. We propose DRelay, which uses global information from the entire draft block to perform prefix-aware selective repair of candidate selections before target-model verification. DRelay bases its decisions on candidate correlations and the selected path: a global reader extracts predictive information across positions for each candidate. While a causal selector combines candidate-level information extracted by the global read with the tokens selected at preceding positions to determine whether the native choice at the current position is consistent with the global evidence and the selected prefix. It then decides whether to retain or replace the token, thereby repairing early errors and extending the accepted prefix. We further jointly train the draft backbone and the selector, combining candidate-support learning with a repair objective, while weighting the repair loss according to each block position's potential contribution to the consecutive accepted prefix. Across eight diverse benchmarks on an H800 GPU, DRelay consistently improves both average acceptance length and end-to-end decoding performance over DFlash, Domino, and DSpark. Under SGLang serving, DRelay improves average end-to-end speedup over DFlash, Domino, and DSpark by 14.7%-16.8%, 8.7%-9.3%, and 8.1%-9.3%, respectively.