Entropy-Aware Speculative Decoding Toward Improved LLM Reasoning

📄 arXiv: 2512.23765v1 📥 PDF

作者: Tiancheng Su, Meicong Zhang, Guoxiu He

分类: cs.CL, cs.AI

发布日期: 2025-12-29

💡 一句话要点

提出熵感知推测解码EASD，提升LLM推理能力并超越目标模型自身性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推测解码 大型语言模型 模型加速 熵感知 推理优化

📋 核心要点

  1. 现有推测解码方法受限于draft模型与目标模型的对齐程度，难以超越目标模型本身的性能。
  2. EASD通过引入基于熵的动态惩罚，在模型不确定时拒绝低置信度的token，防止错误传播。
  3. 实验证明EASD在多个推理基准上优于现有推测解码方法，并在多数情况下超越了目标LLM。

📝 摘要（中文）

推测解码(SD)通过使用小型draft模型生成候选token来加速大型语言模型(LLM)的推理，目标LLM可以直接接受这些token，或者在拒绝后重新生成。然而，draft模型和目标模型之间过度对齐会限制SD的性能。为了解决这个限制，我们提出了一种无需训练的增强方法：熵感知推测解码(EASD)。EASD建立在标准SD之上，并结合了动态的基于熵的惩罚。在每个解码步骤中，我们使用采样分布的熵来量化模型的不确定性。当两个模型都表现出高熵，并且它们的top-N预测之间存在大量重叠时，相应的token将被拒绝，并由目标LLM重新采样。这种惩罚可以防止低置信度的错误传播。通过结合draft模型验证，EASD能够超越目标模型本身的固有性能。在多个推理基准上的实验表明，EASD始终优于现有的SD方法，并且在大多数情况下，超过了目标LLM本身。我们进一步证明了EASD的效率与SD相当。代码可以在补充材料中找到。

🔬 方法详解

问题定义：推测解码旨在加速大型语言模型的推理过程。现有的推测解码方法依赖于一个小型draft模型生成候选token，然后由目标LLM验证。然而，如果draft模型与目标模型过于相似，推测解码的性能将受限于目标模型本身的性能，难以取得显著提升。现有的方法缺乏一种机制来有效利用draft模型提供的信息，并在draft模型不确定时避免引入错误。

核心思路：EASD的核心思路是利用采样分布的熵来量化模型的不确定性。当draft模型和目标模型都表现出较高的熵，并且它们的top-N预测存在显著重叠时，表明模型对当前token的预测不够自信。此时，EASD会拒绝draft模型提出的token，并由目标LLM重新采样。这种方法旨在避免低置信度的错误传播，并允许目标模型在关键步骤中发挥更大的作用。

技术框架：EASD建立在标准的推测解码框架之上，主要包含以下步骤：1) draft模型生成候选token；2) 计算draft模型和目标模型采样分布的熵；3) 如果两个模型的熵都高于阈值，并且它们的top-N预测存在显著重叠，则拒绝draft模型的token；4) 如果draft模型的token被接受，则将其添加到已解码序列中；否则，由目标LLM重新采样token。这个过程迭代进行，直到达到预定的解码长度。

关键创新：EASD的关键创新在于引入了基于熵的动态惩罚机制。与传统的推测解码方法不同，EASD不是简单地接受或拒绝draft模型提出的token，而是根据模型的不确定性动态地调整接受或拒绝的概率。这种方法能够更有效地利用draft模型提供的信息，并在draft模型不确定时避免引入错误，从而提升整体的推理性能。

关键设计：EASD的关键设计在于熵阈值的选择和top-N预测重叠度的计算。熵阈值用于判断模型是否足够不确定，而top-N预测重叠度用于判断两个模型是否在预测上存在显著分歧。这些参数需要根据具体的任务和模型进行调整，以达到最佳的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EASD在多个推理基准上 consistently 优于现有的推测解码方法。例如，在某些基准测试中，EASD不仅超过了标准推测解码，而且还超越了目标LLM本身。此外，EASD的效率与标准推测解码相当，这意味着在提升性能的同时，不会引入额外的计算开销。具体性能提升幅度取决于具体的任务和模型，但总体趋势是EASD能够显著提升LLM的推理能力。

🎯 应用场景

EASD可应用于各种需要加速LLM推理的场景，例如自然语言处理、机器翻译、文本生成等。该方法尤其适用于资源受限的环境，例如移动设备或边缘计算平台，可以显著提升LLM的推理效率，降低计算成本。未来，EASD可以进一步扩展到其他模型加速技术，例如模型压缩和量化。

📄 摘要（原文）

Speculative decoding (SD) accelerates large language model (LLM) reasoning by using a small draft model to generate candidate tokens, which the target LLM either accepts directly or regenerates upon rejection. However, excessive alignment between the draft and target models constrains SD to the performance of the target LLM. To address this limitation, we propose Entropy-Aware Speculative Decoding (EASD), a training-free enhancement. Building on standard SD, EASD incorporates a dynamic entropy-based penalty. At each decoding step, we employ the entropy of the sampling distribution to quantify model uncertainty. When both models exhibit high entropy with substantial overlap among their top-N predictions, the corresponding token is rejected and re-sampled by the target LLM. This penalty prevents low-confidence errors from propagating. By incorporating draft-model verification, EASD enables the possibility of surpassing the target model's inherent performance. Experiments across multiple reasoning benchmarks demonstrate that EASD consistently outperforms existing SD methods and, in most cases, surpasses the target LLM itself. We further prove that the efficiency of EASD is comparable to that of SD. The code can be found in the Supplementary Materials.