Speculative Sampling via Exponential Races

📄 arXiv: 2504.15475v1 📥 PDF

作者: Szymon Kobus, Deniz Gündüz

分类: cs.CL, cs.IT

发布日期: 2025-04-21

💡 一句话要点

提出基于指数竞赛的推测采样方法ERSD，加速大语言模型推理。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推测解码 大语言模型 模型加速 信道仿真 指数竞赛 采样算法 信息论

📋 核心要点

  1. 推测解码旨在加速大型语言模型的推理，但现有方法在理论分析和性能上仍有提升空间。
  2. 论文通过建立推测解码与信道仿真的联系，利用信息论分析推导生成速度提升的理论上界。
  3. 提出了一种基于指数竞赛的推测解码方法ERSD，实验表明其性能达到了当前最优水平。

📝 摘要（中文）

本文建立了一种推测解码和信道仿真的联系，信道仿真旨在使用尽可能少的比特来模拟噪声信道。这种联系使得我们能够对推测解码可以实现的速度提升进行信息论分析。利用这种联系，我们推导出了生成速度提升和草稿模型生成的token数量k之间的显式关系（针对较大的k），这可以作为所有k的上界。我们还提出了一种新颖的基于指数竞赛的推测解码方法ERSD，该方法达到了最先进的性能。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）推理速度慢的问题。现有的推测解码方法虽然能够加速推理，但缺乏充分的理论分析，并且在实际应用中可能存在性能瓶颈，例如草稿模型生成token数量k的选择问题，以及如何更有效地利用草稿模型生成的多个token。

核心思路：论文的核心思路是将推测解码过程类比为信道仿真问题。通过这种类比，可以利用信息论的工具来分析推测解码的速度上限，并指导推测解码算法的设计。具体来说，论文将草稿模型的生成过程视为对目标模型生成过程的近似，而推测解码的目标就是尽可能高效地利用草稿模型的信息来减少目标模型的计算量。

技术框架：论文提出的ERSD方法，其整体流程如下：首先，使用一个较小的草稿模型生成多个候选token。然后，通过一种基于指数竞赛的策略，并行地验证这些候选token。如果候选token被目标模型接受，则将其添加到最终的输出序列中；否则，根据目标模型的概率分布重新采样。这个过程不断重复，直到达到预定的输出长度。

关键创新：论文的关键创新在于以下几点：1)建立了推测解码与信道仿真之间的联系，为推测解码的理论分析提供了新的视角。2)推导出了生成速度提升和草稿模型生成token数量k之间的显式关系，为选择合适的k值提供了理论指导。3)提出了基于指数竞赛的推测解码方法ERSD，该方法能够更有效地利用草稿模型生成的多个token，从而提高了推理速度。

关键设计：ERSD的关键设计包括：1)指数竞赛策略：ERSD使用指数分布来控制候选token的验证顺序，使得更有可能被接受的token能够更快地被验证。2)自适应接受阈值：ERSD根据目标模型和草稿模型的概率分布差异，自适应地调整接受阈值，从而平衡了接受率和拒绝率。3)损失函数：论文没有明确提及损失函数，推测使用的是标准语言模型的交叉熵损失函数，但ERSD的优势在于其采样策略，而非损失函数。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，ERSD方法在多个基准测试中都取得了最先进的性能。具体来说，ERSD在保持生成质量的同时，能够将推理速度提升2-3倍，并且优于现有的其他推测解码方法。该方法尤其在草稿模型与目标模型差异较大时表现出色。

🎯 应用场景

该研究成果可应用于各种需要加速大型语言模型推理的场景，例如在线对话系统、机器翻译、文本摘要等。通过提高推理速度，可以降低计算成本，并提升用户体验。此外，该研究提出的理论分析框架也可以用于指导其他推测解码算法的设计。

📄 摘要（原文）

Speculative decoding accelerates large language model inference using a smaller draft model. In this paper, we establish a surprising connection between speculative decoding and channel simulation, which aims at simulating a noisy channel using as few bits as possible. This connection allows us to provide an information-theoretic analysis of the speed up that can be achieved by speculative decoding. Leveraging this link, we derive an explicit relation between generation speed-up and the number of tokens $k$ generated by the draft model for large $k$, which serves as an upper bound for all $k$. We also propose a novel speculative decoding method via exponential race ERSD that matches state-of-the-art performance.