ValuSpec: Plug-and-Play Candidate Valuation before Target Verification for Tree-Based Speculative Decoding

📄 arXiv: 2610.31338v1 📥 PDF

作者: Liang He, SiYuan Ma, Qishi Zhan, Yongqi Fan, Mingyu Cao, Qizhen Lan, Zhaolu Kang, Xilu Wang

分类: cs.AI

发布日期: 2026-10-22

💡 一句话要点

提出ValuSpec以解决树形结构候选分支验证效率低下问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 树形推测解码 候选估值 验证效率 迁移学习 大型语言模型 计算加速 自然语言处理 深度学习

📋 核心要点

  1. 现有的树形推测解码方法在处理重复请求时，候选分支重叠导致验证效率低下。
  2. ValuSpec通过在目标侧验证之前过滤低质量候选分支，提升了验证效率，且无需额外的参数训练。
  3. 实验结果显示，ValuSpec在检索基础的树形设置中实现了高达2.38倍的加速，且与EAGLE-3框架结合后可达2.78倍加速。

📝 摘要（中文）

树形结构的推测解码通过并行验证多个候选分支来加速大型语言模型的推理。然而，在实际应用中，重复的相似请求会导致候选分支的重叠。虽然基于检索的方法通过重用历史草稿来缓解这一问题，但随着候选树的增长，常常会包含许多低质量的分支，从而降低验证效率并浪费目标侧计算。为此，本文提出了ValuSpec，这是一种即插即用的候选估值机制，在昂贵的目标侧验证之前过滤低质量分支。ValuSpec引入了基于迁移的监督，以使过滤与目标模型的行为对齐。通过在校准集上估计过滤阈值，ValuSpec无需任何参数训练。目标模型在输出一致的贪婪规则下验证过滤后的树，确保接受的标记与标准自回归解码完全匹配。实验结果表明，ValuSpec在多个基准测试中实现了高达2.38倍的端到端加速。

🔬 方法详解

问题定义：本文旨在解决树形推测解码中候选分支重叠导致的验证效率低下问题。现有方法在处理重复请求时，往往生成大量低质量的候选分支，增加了计算开销。

核心思路：ValuSpec通过引入即插即用的候选估值机制，在目标侧验证之前对候选树进行过滤，从而提高验证效率。该方法利用迁移学习的监督方式，使得过滤过程与目标模型的行为保持一致。

技术框架：ValuSpec的整体架构包括候选树的输入、低质量分支的过滤模块和目标模型的验证模块。首先，输入候选树，然后通过过滤模块去除低质量分支，最后由目标模型进行验证。

关键创新：ValuSpec的主要创新在于其即插即用的设计，能够在不改变现有树构建策略的情况下，显著提升验证效率。与传统方法相比，ValuSpec有效减少了低质量候选的数量。

关键设计：ValuSpec通过在校准集上估计过滤阈值，确保过滤过程无需额外的参数训练。此外，目标模型在验证时遵循输出一致的贪婪规则，以保证最终输出的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，ValuSpec在检索基础的树形设置中实现了高达2.38倍的端到端加速。与EAGLE-3动态树框架结合后，ValuSpec进一步提升了性能，达到了2.78倍的加速，显示出其广泛的适用性和有效性。

🎯 应用场景

ValuSpec的研究成果在大型语言模型的推理加速中具有广泛的应用潜力，特别是在需要处理大量重复请求的场景，如在线客服、智能问答系统等。通过提高验证效率，ValuSpec可以显著降低计算资源的消耗，提升用户体验。

📄 摘要（原文）

Tree-based speculative decoding accelerates large language model inference by verifying multiple candidate branches in parallel. However, in practical serving scenarios, similar requests repeatedly induce overlapping candidate branches. While retrieval-based methods mitigate this by reusing historical drafts, the resulting candidate trees often contain many low-quality branches as the candidate tree grows, which reduces verification efficiency and wastes target-side computation. To address this, we propose ValuSpec, a plug-and-play candidate valuation mechanism that filters low-quality branches from a supplied candidate tree before expensive target-side verification. ValuSpec introduces transfer-based supervision to align filtering with the target model's behavior. A filtering threshold is estimated from the target model's greedy trajectories on a calibration split, without any parameter training. The target model then verifies the filtered tree under the output-identical greedy rule, so accepted tokens are guaranteed to match standard autoregressive decoding exactly. Experimental results on HumanEval, GSM8K, Dolly, and SpecBench show that, in our main evaluation, ValuSpec achieves up to 2.38x end-to-end speedup in retrieval-based tree settings. Furthermore, integrating ValuSpec into the EAGLE-3 dynamic tree framework yields up to 2.78x end-to-end speedup without modifying its tree construction strategy, demonstrating that ValuSpec serves as a generally applicable and plug-and-play candidate valuation module.