To Copy or Not to Copy: Controlling Speculative Decoding via Intrinsic Model Signals

📄 arXiv: 2609.20186v1 📥 PDF

作者: Roy Eisenstadt, Ido Cohen, Edo Cohen-Karlik, Lior Wolf, Itamar Zimerman

分类: cs.CL

发布日期: 2026-09-17

💡 一句话要点

提出SwitchSD以解决现有复制策略的效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推测解码 大型语言模型 复制策略 神经草拟 上下文复制 性能提升 模型意识

📋 核心要点

  1. 现有的推测解码方法在神经草拟和基于上下文的复制策略之间存在效率权衡，导致性能下降。
  2. SwitchSD框架通过识别模型内部的真实复制意图，实现了神经草拟与上下文复制的动态切换。
  3. 实验结果显示，SwitchSD在多个模型上实现了高达15%的吞吐量提升，超越了现有的最优基线。

📝 摘要（中文）

论文探讨了推测解码（Speculative Decoding, SD）在大型语言模型（LLM）推理中的应用，指出现有方法在神经草拟和基于上下文的复制策略之间存在权衡。尽管基于复制的方法在复制密集的场景中能实现更高的速度，但它们容易产生意外重复，导致性能下降。为此，作者提出了SwitchSD框架，通过训练轻量级探针识别模型内部表示中的真实复制意图，从而在神经草拟和上下文复制之间动态切换。实验结果表明，SwitchSD在Llama和Qwen模型上实现了高达15%的吞吐量提升，显著优于现有的EAGLE3基线。

🔬 方法详解

问题定义：论文要解决的问题是现有推测解码方法在复制密集场景中效率低下，尤其是基于复制的方法容易产生意外重复，导致性能下降。

核心思路：SwitchSD框架的核心思路是将复制视为大型语言模型的潜在控制信号，通过训练轻量级探针来识别真实的复制意图，从而在神经草拟和上下文复制之间进行智能切换。

技术框架：SwitchSD的整体架构包括数据输入、内部表示提取、复制意图识别和解码策略选择四个主要模块。首先，输入数据经过模型处理，提取内部表示，然后通过探针识别复制意图，最后根据识别结果选择合适的解码策略。

关键创新：最重要的技术创新点在于将复制意图的识别与解码策略的选择结合起来，形成了一种基于模型意识的解码机制，这与传统的静态复制策略有本质区别。

关键设计：在设计上，SwitchSD使用了轻量级的探针网络来分析模型内部状态，采用了高精度的复制意图识别算法，确保AUC值超过0.99，同时在参数设置和损失函数上进行了优化，以提高整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SwitchSD在Llama和Qwen模型上实现了高达15%的吞吐量提升，相较于EAGLE3等最优基线，展现了显著的性能优势。这一成果表明，SwitchSD有效地将复制从一种噪声启发式转变为一种有原则的、模型感知的解码机制。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等场景。通过提高推测解码的效率，SwitchSD能够在实时应用中提供更快的响应时间，提升用户体验。此外，未来可能在其他类型的生成模型中推广类似的控制机制，进一步推动智能生成技术的发展。

📄 摘要（原文）

Speculative Decoding (SD) has significantly accelerated Large Language Model (LLM) inference, yet existing approaches face a fundamental tradeoff between two drafting strategies: neural drafting and context-based copying. Neural drafts (e.g., EAGLE3) provide robust performance across diverse text settings, while copy-based methods achieve higher speedups in copy-intensive regimes by generating candidates faster and exploiting long repetition spans for near-perfect speculation. We analyze existing copy-based methods and find that they are prone to accidental repetitions where surface-level n-gram overlap does not reflect a structural intent to copy, leading to false-positive triggers that ultimately degrade throughput. We introduce SwitchSD, an adaptive framework that treats copying as a latent control signal of the LLM. By training lightweight probes on the target model's internal representations, SwitchSD identifies genuine copy-intent with high precision (AUC > 0.99). This allows the system to dynamically switch between neural drafting (e.g., EAGLE) and context-based copying. Our results across Llama and Qwen families demonstrate throughput gains of up to 15% over state-of-the-art baselines like EAGLE3, effectively turning copying from a noisy heuristic into a principled, model-aware decoding regime.