D-cut: Adaptive Verification Depth Pruning for Batched Speculative Decoding

📄 arXiv: 2607.14647v1 📥 PDF

作者: Tianyu Liu, Yuhao Shen, Rui Cen, Junhan Shi, Jiebin Zhang, Guangshuo Qin, Hong Liu, Song Liu, Guanghua Yu, Jianchen Zhu

分类: cs.CL

发布日期: 2026-07-16

💡 一句话要点

提出D-Cut以解决高并发下的推理效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推测解码 自适应修剪 高并发 大型语言模型 性能优化 验证成本 自然语言处理

📋 核心要点

  1. 现有的推测解码方法在高并发情况下，长草拟会导致大量计算浪费在被拒绝的令牌上，增加验证成本。
  2. D-Cut通过跨请求修剪和运行时成本模型，自适应地分配验证预算，集中在最有可能被接受的令牌上。
  3. 实验结果显示，D-Cut在高并发情况下显著提高了推理速度，尤其在密集模型和MoE模型上表现优异。

📝 摘要（中文）

推测解码加速了大型语言模型（LLM）的推理而不影响输出质量。近期的并行草拟方法通过将草拟长度与延迟解耦，进一步提升了单请求性能。然而，在高请求并发下，长草拟会浪费大量计算资源在被拒绝的令牌上，增加验证成本，可能使推测解码的速度低于自回归解码。本文提出D-Cut，一种自适应修剪方法，跨批次选择草拟令牌，并将验证预算集中在最可能被接受的令牌上。实验表明，在高并发情况下，D-Cut将平均加速提升从1.26倍提高到1.65倍，并在密集模型配置中恢复了加速效果，MoE模型上实现了高达3.0倍的加速。

🔬 方法详解

问题定义：本文解决的是在高并发请求下，推测解码中长草拟导致的计算资源浪费和验证成本增加的问题。现有方法在处理多个请求时，未能有效利用验证预算，导致性能下降。

核心思路：D-Cut的核心思路是通过跨请求修剪，动态调整验证预算，优先验证最可能被接受的令牌，从而提高推理效率。该方法考虑了不同请求的接受长度差异和环境的运行时成本。

技术框架：D-Cut的整体架构包括两个主要模块：跨请求修剪模块和运行时成本模型模块。前者负责根据草拟信心进行令牌选择，后者则根据具体的部署环境调整修剪深度。

关键创新：D-Cut的创新在于其自适应修剪机制，能够根据请求的接受概率和环境特征动态调整验证策略，与传统方法相比，显著提升了推理效率。

关键设计：D-Cut在参数设置上，采用了基于草拟信心的动态预算分配策略，并结合了针对不同GPU架构的运行时成本模型，以优化验证深度和计算资源的使用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，D-Cut在高并发情况下将平均加速从1.26倍提升至1.65倍，并在密集模型配置中恢复了加速效果。此外，在MoE模型上实现了高达3.0倍的加速，相较于自回归解码表现出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和实时翻译等场景。通过提高推理效率，D-Cut能够在高并发请求下保持模型性能，具有重要的实际价值和广泛的应用前景。未来，该方法可能推动更多高效推理技术的发展，提升大型语言模型的实际应用能力。

📄 摘要（原文）

Speculative decoding accelerates large language model (LLM) inference without compromising output quality. Recent parallel drafting methods further improve single-request performance by decoupling draft length from drafting latency, enabling longer drafts and higher mean accepted tokens (MAT). However, under high request concurrency, long drafts waste substantial computation on rejected tokens, increasing verification cost and potentially making speculative decoding slower than autoregressive decoding. We present D-Cut, an adaptive pruning method that selects draft tokens jointly across the batch and concentrates the verification budget on tokens most likely to be accepted. D-Cut is motivated by two observations. First, acceptance lengths vary considerably across concurrent requests; D-Cut therefore performs cross-request pruning, allocating the verification budget adaptively according to draft confidence. Second, verification cost depends strongly on the deployment environment, including GPU architecture and parallelism strategy; D-Cut incorporates a runtime cost model to adapt its pruning depth to the target environment. Experiments on dense and mixture-of-experts (MoE) models show that, under high concurrency, D-Cut improves the average speedup from (1.26\times) to (1.65\times), restores acceleration in dense-model configurations where long-draft baselines are slower than autoregressive decoding, and achieves up to (3.0\times) speedup over autoregressive decoding on MoE models.