SpecBound: Adaptive Bounded Self-Speculation with Layer-wise Confidence Calibration

📄 arXiv: 2604.12247v1 📥 PDF

作者: Zhuofan Wen, Yang Feng

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-04-14

备注: ACL 2026 Findings

💡 一句话要点

SpecBound：通过分层置信度校准的自适应有界自推测解码，加速LLM自回归推理。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推测解码 自回归推理 大型语言模型 置信度校准 自适应推测 模型加速 长文本生成

📋 核心要点

  1. 现有自推测解码方法在LLM浅层易产生过度自信的错误预测，降低了推测的准确性。
  2. SpecBound通过分层温度退火抑制虚假置信度，并根据token解码难度自适应调整推测长度。
  3. 实验表明，SpecBound在多种长文本生成任务和模型架构上实现了高达2.33倍的加速，无需修改LLM参数。

📝 摘要（中文）

推测解码已成为加速大型语言模型(LLM)自回归推理的一种有前景的方法。自推测方法利用基础LLM本身进行推测，避免了辅助草稿模型的开销，但也面临局限性：浅层通常产生过度自信但错误的token预测，并且草稿序列中存在困难的token会迫使通过更深层进行冗余计算，从而削弱草稿接受率和整体加速效果。为了解决这些问题，我们提出了一种新的自推测框架，该框架通过早期退出决策中的分层温度退火来抑制虚假置信度，并基于token解码难度自适应地限制推测长度。通过在统一的并行过程中重新处理深层中草稿token的隐藏状态，我们的方法保持与原始模型的精确输出等价性，同时最大化计算效率。它不需要修改基础LLM参数，并且在各种长文本生成任务和多种模型架构上，实现了高达2.33倍的实际加速。

🔬 方法详解

问题定义：现有自推测解码方法，特别是自草稿方法，在利用LLM自身进行推测时，存在两个主要痛点：一是LLM的浅层容易产生过度自信但错误的token预测，导致推测草稿的质量不高；二是当推测序列中出现难以预测的token时，需要通过更深的网络层进行冗余计算，降低了整体的计算效率和加速效果。

核心思路：SpecBound的核心思路是通过分层置信度校准和自适应推测长度限制来解决上述问题。具体来说，它通过在早期退出决策中引入分层温度退火机制，降低浅层输出的虚假置信度，从而提高推测草稿的准确性。同时，根据token的解码难度自适应地调整推测长度，避免对难以预测的token进行不必要的计算。

技术框架：SpecBound的整体框架包括以下几个主要阶段：1) 使用基础LLM的浅层生成推测草稿；2) 使用分层温度退火机制校准浅层输出的置信度；3) 根据校准后的置信度自适应地确定推测长度；4) 通过一个统一的并行过程，重新处理深层中草稿token的隐藏状态，以验证推测草稿的正确性；5) 根据验证结果，接受或拒绝推测草稿，并进行后续的自回归解码。

关键创新：SpecBound最重要的技术创新点在于分层置信度校准和自适应推测长度限制的结合。分层置信度校准能够有效地抑制浅层输出的虚假置信度，提高推测草稿的准确性。自适应推测长度限制能够根据token的解码难度动态地调整推测长度，避免不必要的计算，从而提高整体的计算效率。与现有方法相比，SpecBound能够在保证输出等价性的前提下，实现更高的加速效果。

关键设计：SpecBound的关键设计包括：1) 分层温度退火机制，通过在不同网络层设置不同的温度参数，来调整输出的置信度；2) 自适应推测长度限制策略，根据token的解码难度动态地调整推测长度；3) 统一的并行处理过程，通过重新处理深层中草稿token的隐藏状态，来验证推测草稿的正确性。具体的参数设置和损失函数等细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SpecBound在多种长文本生成任务和模型架构上进行了实验验证，结果表明，该方法能够在不修改基础LLM参数的情况下，实现高达2.33倍的实际加速。与标准的自回归解码相比，SpecBound在保证输出等价性的前提下，显著提高了推理速度，展现了其优越的性能。

🎯 应用场景

SpecBound可广泛应用于各种需要加速LLM自回归推理的场景，例如长文本生成、机器翻译、对话系统等。通过提高推理速度，可以降低计算成本，并提升用户体验。该研究对于推动LLM在资源受限环境中的应用具有重要意义，并为未来的模型优化提供了新的思路。

📄 摘要（原文）

Speculative decoding has emerged as a promising approach to accelerate autoregressive inference in large language models (LLMs). Self-draft methods, which leverage the base LLM itself for speculation, avoid the overhead of auxiliary draft models but face limitations: shallow layers often produce overconfident yet incorrect token predictions, and the presence of difficult tokens in a draft sequence forces redundant computation through deeper layers, undermining both draft acceptance and overall speedup. To address these issues, we propose a novel self-draft framework that suppresses spurious confidence via layer-wise temperature annealing in early-exit decision and adaptively bounds speculation length based on token-wise decoding difficulty. By reprocessing the hidden states of draft tokens in a unified parallel pass through deep layers, our method maintains exact output equivalence with the original model while maximizing computational efficiency. It requires no modifications to the base LLM parameters and achieves up to 2.33x wall-time speedup over standard autoregressive decoding across diverse long-form generation tasks and multiple model architectures.