Confidence-Modulated Speculative Decoding for Large Language Models

📄 arXiv: 2508.15371v1 📥 PDF

作者: Jaydip Sen, Subhasis Dasgupta, Hetvi Waghela

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-08-21

备注: This is the preprint of the paper, which has been accepted for oral presentation and publication in the proceedings of IEEE INDISCON 2025. The conference will be organized at the National Institute of Technology, Rourkela, India, from August 21 to 23, 2025. The paper is 10 pages long, and it contains 2 figures and 5 tables

💡 一句话要点

提出基于置信度调制的推测解码方法，加速大语言模型的自回归推理。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推测解码 大语言模型 自回归推理 置信度调制 机器翻译 文本摘要 加速推理

📋 核心要点

  1. 现有推测解码方法采用静态草稿长度和严格验证标准，难以适应模型不确定性和输入复杂度的变化。
  2. 论文提出基于置信度调制的推测解码框架，动态调整生成token数量和验证标准，提升效率和质量。
  3. 实验表明，该方法在机器翻译和摘要任务中，显著加速推理过程，同时保持或提升了BLEU和ROUGE分数。

📝 摘要（中文）

推测解码是一种通过草稿-验证范式并行生成token来加速自回归推理的有效方法。然而，现有方法依赖于静态的草稿长度和严格的验证标准，限制了其在不同模型不确定性和输入复杂度下的适应性。本文提出了一个基于置信度调制的推测解码信息论框架。通过利用基于熵和边际的drafter输出分布的不确定性度量，该方法动态调整每次迭代中推测生成的token数量。这种自适应机制减少了回滚频率，提高了资源利用率，并保持了输出的保真度。此外，验证过程也使用相同的置信度信号进行调制，从而能够更灵活地接受草稿token，而不会牺牲生成质量。在机器翻译和摘要任务上的实验表明，与标准推测解码相比，该方法实现了显著的加速，同时保持或提高了BLEU和ROUGE分数。该方法为大语言模型在不同不确定性条件下的高效和鲁棒解码提供了一种原则性的、即插即用的方法。

🔬 方法详解

问题定义：现有推测解码方法的痛点在于其静态的草稿长度和验证标准。这意味着无论模型对当前token预测的置信度如何，都会生成固定数量的token进行验证。当模型不确定性较高时，容易生成错误的token，导致回滚，浪费计算资源。反之，当模型置信度高时，固定长度的草稿可能无法充分利用模型的预测能力。

核心思路：论文的核心思路是利用模型输出分布的置信度信息，动态地调整草稿长度和验证标准。具体来说，当模型对预测结果更有把握时，可以生成更长的草稿；反之，则缩短草稿长度。同时，验证过程也根据置信度进行调整，允许在一定程度上接受置信度较低的token，以避免过度回滚。

技术框架：该方法的核心在于置信度调制机制。首先，利用drafter模型生成候选token序列。然后，计算每个token预测的置信度，这里使用了基于熵和边际的两种不确定性度量。基于这些置信度信息，动态调整草稿长度。最后，使用verifier模型验证草稿token，验证过程也受到置信度调制，决定是否接受该token。整个过程迭代进行，直到达到预设的生成长度。

关键创新：该方法最重要的创新在于其自适应性。通过置信度调制，草稿长度和验证标准不再是固定的，而是根据模型的预测情况动态调整。这使得推测解码能够更好地适应不同的模型不确定性和输入复杂度，从而提高效率和鲁棒性。与现有方法相比，该方法更加灵活，能够更好地平衡加速和质量之间的关系。

关键设计：置信度的计算是关键设计之一，论文使用了基于熵和边际的两种方法。熵反映了模型预测分布的不确定性，边际则反映了最佳候选token与其他候选token之间的差距。此外，如何将置信度信息有效地融入到草稿长度的调整和验证过程中也是一个关键设计。具体的参数设置和阈值选择可能需要根据不同的任务和模型进行调整。

📊 实验亮点

实验结果表明，该方法在机器翻译和摘要任务中实现了显著的加速，同时保持或提高了BLEU和ROUGE分数。具体来说，与标准推测解码相比，该方法在加速比上取得了显著提升，并且在某些情况下，BLEU和ROUGE分数甚至有所提高，表明该方法不仅提高了效率，还可能改善生成质量。

🎯 应用场景

该研究成果可广泛应用于各种需要加速大语言模型推理的场景，例如机器翻译、文本摘要、对话生成等。通过提高推理效率，可以降低计算成本，并支持更大规模模型的部署。此外，该方法还可以应用于资源受限的设备上，例如移动设备或边缘计算设备，从而实现更广泛的应用。

📄 摘要（原文）

Speculative decoding has emerged as an effective approach for accelerating autoregressive inference by parallelizing token generation through a draft-then-verify paradigm. However, existing methods rely on static drafting lengths and rigid verification criteria, limiting their adaptability across varying model uncertainties and input complexities. This paper proposes an information-theoretic framework for speculative decoding based on confidence-modulated drafting. By leveraging entropy and margin-based uncertainty measures over the drafter's output distribution, the proposed method dynamically adjusts the number of speculatively generated tokens at each iteration. This adaptive mechanism reduces rollback frequency, improves resource utilization, and maintains output fidelity. Additionally, the verification process is modulated using the same confidence signals, enabling more flexible acceptance of drafted tokens without sacrificing generation quality. Experiments on machine translation and summarization tasks demonstrate significant speedups over standard speculative decoding while preserving or improving BLEU and ROUGE scores. The proposed approach offers a principled, plug-in method for efficient and robust decoding in large language models under varying conditions of uncertainty.