Faster LLM Inference via Sequential Monte Carlo

📄 arXiv: 2604.15672v1 📥 PDF

作者: Yahya Emara, Mauricio Barba da Costa, Chi-Chih Chang, Cameron Freer, Tim Vieira, Ryan Cotterell, Mohamed S. Abdelfattah

分类: cs.LG, cs.CL

发布日期: 2026-04-17

💡 一句话要点

提出基于序列蒙特卡洛的推测解码方法，加速LLM推理并提升吞吐量。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 序列蒙特卡洛 推测解码 语言模型推理 加速推理 重要性采样

📋 核心要点

  1. 现有推测解码方法在草案模型与目标模型不一致时，因拒绝抽样导致吞吐量下降。
  2. SMC-SD通过序列蒙特卡洛方法，对草案token进行重加权而非直接拒绝，实现近似推理。
  3. 实验表明，SMC-SD在保持较高精度的前提下，显著提升了LLM推理速度，优于传统推测解码。

📝 摘要（中文）

推测解码(SD)通过廉价的提议模型生成token草案，并使用昂贵的目标模型通过拒绝抽样进行验证，从而加速语言模型推理。由于拒绝抽样会在第一个错误处截断草案块，当草案模型和目标模型出现分歧时，吞吐量会下降。本文提出对草案token进行重加权，而不是直接拒绝。为此，我们引入了序列蒙特卡洛推测解码(SMC-SD)，它用基于重要性权重的草案粒子群上的重采样代替了token级别的拒绝。SMC-SD是一种有原则的近似推理方案，它以牺牲精确性为代价来换取更高的速度，同时保留了每步近似误差的理论界限。由于LLM推理受限于内存带宽，并行起草粒子并对其进行评分所需的算术运算几乎是免费的——SMC-SD利用空闲计算将验证转化为矢量化的、固定大小的操作，而无需回滚。实验表明，在推理、指令跟随和代码基准测试中，SMC-SD实现了比推测解码快2.36倍，比自回归解码快5.2倍的速度提升，同时保持在目标模型3%的精度范围内。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）推理速度慢的问题。现有的推测解码方法依赖于拒绝抽样，当草案模型与目标模型出现偏差时，会导致大量token被拒绝，从而降低整体吞吐量。这种方法的痛点在于无法有效利用草案模型提供的所有信息，造成计算资源的浪费。

核心思路：论文的核心思路是使用序列蒙特卡洛（SMC）方法，通过维护一个粒子群来表示草案token的不确定性。与直接拒绝token不同，SMC-SD对每个token赋予一个重要性权重，并根据权重进行重采样。这样可以在保留草案模型信息的同时，逐步逼近目标模型的分布，从而提高推理效率。

技术框架：SMC-SD的整体框架包括以下几个主要阶段：1) 使用草案模型生成多个token序列（粒子）。2) 使用目标模型对每个粒子进行评分，并计算每个粒子的重要性权重。3) 根据重要性权重对粒子进行重采样，选择更符合目标模型分布的粒子。4) 基于重采样后的粒子，生成下一个token，重复以上过程。

关键创新：SMC-SD的关键创新在于将序列蒙特卡洛方法引入到推测解码中。与传统的拒绝抽样方法相比，SMC-SD能够更有效地利用草案模型的信息，避免了因token被拒绝而造成的计算浪费。此外，SMC-SD通过维护一个粒子群，能够更好地处理草案模型与目标模型之间的差异，从而提高推理的准确性。

关键设计：SMC-SD的关键设计包括：1) 粒子数量的选择：需要根据计算资源和精度要求进行权衡。2) 重要性权重的计算方式：需要选择合适的评分函数，以准确反映每个粒子与目标模型分布的匹配程度。3) 重采样策略：需要选择合适的重采样算法，以避免粒子退化问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SMC-SD在推理、指令跟随和代码基准测试中，实现了比推测解码快2.36倍，比自回归解码快5.2倍的速度提升，同时保持在目标模型3%的精度范围内。这些结果证明了SMC-SD在加速LLM推理方面的有效性。

🎯 应用场景

SMC-SD可广泛应用于需要快速LLM推理的场景，如实时对话系统、智能助手、机器翻译等。该方法能够显著提升LLM的响应速度，改善用户体验，并降低部署成本。未来，SMC-SD有望成为LLM推理的主流方法之一。

📄 摘要（原文）

Speculative decoding (SD) accelerates language model inference by drafting tokens from a cheap proposal model and verifying them against an expensive target model via rejection sampling. Because rejection truncates the draft block at the first error, throughput degrades when draft and target diverge. Rather than rejecting draft tokens outright, we propose to reweight them. To this end, we introduce sequential Monte Carlo speculative decoding (SMC-SD), which replaces token-level rejection with importance-weighted resampling over a population of draft particles. SMC-SD is a principled approximate inference scheme that trades exactness for additional speed, while preserving theoretical bounds on its per-step approximation error. Because LLM inference is memory bandwidth-bound, the arithmetic needed to draft particles and to score them in parallel comes nearly for free -- SMC-SD uses idle compute to turn verification into a vectorized, fixed-size operation with no rollback. Empirically, SMC-SD achieves 2.36x speed-up over speculative decoding and a 5.2x speed-up over autoregressive decoding, while remaining within 3% of the target model's accuracy on reasoning, instruction-following, and coding benchmarks.