Multi-Drafter Speculative Decoding with Alignment Feedback

📄 arXiv: 2604.05417v1 📥 PDF

作者: Taehyeon Kim, Hojung Jung, Se-Young Yun

分类: cs.CL

发布日期: 2026-04-07

备注: ACL 2026 Findings

💡 一句话要点

提出MetaSD框架，通过对齐反馈的多Drafter推测解码加速LLM推理。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推测解码 大型语言模型 多臂老虎机 模型加速 异构模型

📋 核心要点

  1. 现有推测解码方法依赖于单一drafter，其在不同任务和领域上的泛化能力有限。
  2. MetaSD框架集成多个异构drafter，并根据对齐反馈动态分配计算资源。
  3. 实验结果表明，MetaSD在多种任务上始终优于使用单一drafter的推测解码方法。

📝 摘要（中文）

推测解码(SD)通过使用较小的模型来起草未来的token，然后由目标LLM验证，从而加速大型语言模型(LLM)的推理。这种方法通过只接受对齐的token来保持生成质量。然而，通常针对特定任务或领域训练的单个drafter在各种应用中表现出有限的有效性。为了解决这个问题，我们引入了 extsc{MetaSD}，一个将多个drafter集成到SD过程中的统一框架。MetaSD通过利用对齐反馈并将drafter选择构建为多臂老虎机问题，从而动态地将计算资源分配给异构drafter。大量的实验表明，MetaSD始终优于单drafter方法。

🔬 方法详解

问题定义：论文旨在解决推测解码中单一drafter在不同任务和领域泛化能力不足的问题。现有的推测解码方法通常只使用一个小型模型（drafter）来预测token，这限制了其在多样化任务上的性能，因为单个drafter很难适应所有情况。

核心思路：论文的核心思路是利用多个异构的drafter，每个drafter可能擅长不同的任务或领域，然后根据目标LLM的对齐反馈，动态地选择最合适的drafter来生成token。这种方法类似于多臂老虎机问题，旨在探索和利用不同drafter的优势。

技术框架：MetaSD框架主要包含以下几个模块：1) 多个异构的Drafter模型；2) 对齐反馈机制，用于评估每个drafter生成的token与目标LLM的对齐程度；3) 多臂老虎机算法，用于根据对齐反馈动态选择drafter。整体流程是：首先，多臂老虎机算法选择一个drafter；然后，该drafter生成多个token；接着，目标LLM验证这些token，并提供对齐反馈；最后，多臂老虎机算法根据反馈更新每个drafter的奖励，并用于下一轮的drafter选择。

关键创新：MetaSD的关键创新在于将多臂老虎机算法与推测解码相结合，实现了对多个异构drafter的动态选择和资源分配。与传统的单drafter方法相比，MetaSD能够更好地利用不同drafter的优势，从而提高推测解码的效率和准确性。

关键设计：MetaSD的关键设计包括：1) 多臂老虎机算法的选择，例如可以使用UCB、Thompson Sampling等算法；2) 对齐反馈的定义，例如可以使用目标LLM的交叉熵损失或token级别的对齐概率；3) 奖励函数的设置，用于衡量每个drafter的性能，并指导drafter的选择。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MetaSD通过集成多个drafter并动态分配计算资源，在多个任务上都取得了显著的性能提升。实验结果表明，MetaSD始终优于单drafter方法，在某些任务上甚至可以达到接近目标LLM的推理速度，同时保持较高的生成质量。具体的性能数据和提升幅度在论文中有详细的展示。

🎯 应用场景

该研究成果可应用于各种需要加速LLM推理的场景，例如在线对话系统、机器翻译、文本生成等。通过动态选择合适的drafter，MetaSD能够提高LLM的推理速度，降低计算成本，并提升用户体验。此外，该方法还可以应用于模型蒸馏和知识迁移等领域。

📄 摘要（原文）

Speculative decoding (SD) accelerates large language model (LLM) inference by using a smaller model to draft future tokens, which are then verified by the target LLM. This preserves generation quality by accepting only aligned tokens. However, individual drafters, often trained for specific tasks or domains, exhibit limited effectiveness across diverse applications. To address this, we introduce \textsc{MetaSD}, a unified framework that integrates multiple drafters into the SD process. MetaSD dynamically allocates computational resources to heterogeneous drafters by leveraging alignment feedback and framing drafter selection as a multi-armed bandit problem. Extensive experiments show MetaSD consistently outperforms single-drafter approaches.