Beyond Tokens: Semantic-Aware Speculative Decoding for Efficient Inference by Probing Internal States

📄 arXiv: 2602.03708v1 📥 PDF

作者: Ximing Dong, Shaowei Wang, Dayi Lin, Boyuan Chen, Ahmed E. Hassan

分类: cs.CL, cs.PF

发布日期: 2026-02-03

💡 一句话要点

提出SemanticSpec，通过语义感知的推测解码加速大型语言模型的推理。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推测解码 语义感知 推理加速 隐藏状态 语义概率估计

📋 核心要点

  1. 现有推测解码方法在token级别操作，忽略语义等价性，导致验证效率低下。
  2. SemanticSpec通过探测模型内部隐藏状态，估计生成特定语义序列的概率，实现语义感知的推测解码。
  3. 实验表明，SemanticSpec在多个基准测试中显著提升了推理速度，优于现有token级别和序列级别方法。

📝 摘要（中文）

大型语言模型（LLMs）在许多任务中表现出色，但由于自回归解码，推理延迟较高。大型推理模型（LRMs）生成冗长的思维链，使得这个问题更加严重。推测解码通过并行起草和验证多个token来加速推理，但现有方法在token级别操作，忽略了语义等价性（即，表达相同含义的不同token序列），导致低效的拒绝。我们提出了SemanticSpec，一个语义感知的推测解码框架，它验证整个语义序列而不是token。SemanticSpec引入了一种语义概率估计机制，该机制探测模型的内部隐藏状态，以评估生成具有特定含义的序列的可能性。在四个基准测试上的实验表明，SemanticSpec在DeepSeekR1-32B上实现了高达2.7倍的加速，在QwQ-32B上实现了2.1倍的加速，在效率和有效性方面始终优于token级别和序列级别的基线。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）和大型推理模型（LRMs）中，由于自回归解码导致的推理延迟高的问题。现有的推测解码方法主要在token级别进行操作，忽略了不同token序列可能表达相同语义的情况，导致不必要的拒绝和效率损失。

核心思路：SemanticSpec的核心思路是进行语义感知的推测解码，即不再仅仅关注token序列的字面一致性，而是关注其语义是否一致。通过预测和验证语义序列，可以更有效地利用推测解码的并行性，减少不必要的计算。

技术框架：SemanticSpec框架包含以下几个主要模块：1) Draft Model：用于生成候选的token序列。2) Semantic Probability Estimation：这是SemanticSpec的关键模块，通过探测LLM的内部隐藏状态，估计生成具有特定语义的序列的概率。3) Verification Module：验证Draft Model生成的序列是否与LLM的预期语义一致。如果一致，则接受该序列；否则，拒绝该序列并进行修正。

关键创新：SemanticSpec最重要的创新在于其语义概率估计机制。该机制通过分析LLM的内部隐藏状态，学习到不同token序列与特定语义之间的映射关系。这使得SemanticSpec能够更准确地判断Draft Model生成的序列是否符合LLM的预期，从而提高推测解码的效率。与现有方法相比，SemanticSpec不再局限于token级别的匹配，而是提升到语义层面，实现了更高效的推测解码。

关键设计：SemanticSpec的关键设计在于如何有效地探测和利用LLM的内部隐藏状态。具体来说，SemanticSpec使用一个额外的神经网络来学习隐藏状态与语义之间的映射关系。这个神经网络的训练目标是预测LLM生成特定语义序列的概率。此外，SemanticSpec还设计了一种自适应的序列长度选择策略，根据LLM的预测置信度动态调整Draft Model生成的序列长度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SemanticSpec在DeepSeekR1-32B上实现了高达2.7倍的加速，在QwQ-32B上实现了2.1倍的加速。与token级别和序列级别的基线方法相比，SemanticSpec在多个基准测试中均表现出更高的效率和有效性。这些结果验证了SemanticSpec在加速LLM推理方面的显著优势。

🎯 应用场景

SemanticSpec可应用于各种需要快速推理的大型语言模型应用场景，例如智能客服、机器翻译、文本摘要、代码生成等。通过加速推理过程，可以显著降低计算成本，提高用户体验，并促进LLM在资源受限环境中的部署。该研究对于提升LLM的实用性和可扩展性具有重要意义。

📄 摘要（原文）

Large Language Models (LLMs) achieve strong performance across many tasks but suffer from high inference latency due to autoregressive decoding. The issue is exacerbated in Large Reasoning Models (LRMs), which generate lengthy chains of thought. While speculative decoding accelerates inference by drafting and verifying multiple tokens in parallel, existing methods operate at the token level and ignore semantic equivalence (i.e., different token sequences expressing the same meaning), leading to inefficient rejections. We propose SemanticSpec, a semantic-aware speculative decoding framework that verifies entire semantic sequences instead of tokens. SemanticSpec introduces a semantic probability estimation mechanism that probes the model's internal hidden states to assess the likelihood of generating sequences with specific meanings.Experiments on four benchmarks show that SemanticSpec achieves up to 2.7x speedup on DeepSeekR1-32B and 2.1x on QwQ-32B, consistently outperforming token-level and sequence-level baselines in both efficiency and effectiveness.