Target Regeneration Shrinks the Gains of Draft-Training Objectives in Speculative Decoding
作者: Jungseob Lee, Hogun Seong, Euijun Choi, Sugyeong Eo
分类: cs.CL, cs.LG
发布日期: 2026-10-21
备注: 19 pages, 6 figures, 15 tables. Code: https://github.com/js-lee-AI/TargetRegeneration
🔗 代码/项目: GITHUB
💡 一句话要点
提出目标再生方法以缩小草稿训练目标在推测解码中的增益
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 推测解码 草稿训练 目标再生 蒸馏训练 多模态学习 性能评估
📋 核心要点
- 现有的草稿训练目标在推测解码中存在增益缩水的问题，尤其是在目标再生后。
- 论文提出了一种新的评估方法，通过目标再生基线来衡量训练目标的增益。
- 实验结果表明，蒸馏和门控在外部响应上有显著增益，但在再生后增益显著减小。
📝 摘要（中文）
推测解码通过并行验证草稿令牌来加速大型语言模型。新提出的草稿训练目标通常被认为在外部书写响应上增加了接受度，但许多管道允许目标重写这些响应。本文探讨了这种增益的存续程度。通过使用视觉-语言目标和块草稿器，研究了在四个版本的语料库上训练的三种目标：对语料库令牌的交叉熵、来自目标的令牌级蒸馏，以及针对能够通过验证的位置信息进行的蒸馏。结果显示，蒸馏和门控在外部响应上增加了显著增益，但在贪婪再生后，蒸馏的增益减小，门控几乎没有增益。该现象在不同数据顺序、位置权重、验证器、解码温度等条件下均持续存在。
🔬 方法详解
问题定义：本文旨在解决推测解码中草稿训练目标增益缩水的问题，现有方法未能有效评估目标再生对增益的影响。
核心思路：通过引入目标再生基线，评估不同训练目标在推测解码中的实际增益，揭示其在再生后的表现。
技术框架：研究采用视觉-语言目标和块草稿器，训练三种目标：交叉熵、令牌级蒸馏和基于位置的蒸馏，比较不同条件下的增益表现。
关键创新：提出了在目标再生后评估训练目标增益的新方法，强调了再生对增益的影响，挑战了传统评估方法的有效性。
关键设计：在实验中，设置了不同的数据顺序、位置权重、验证器和解码温度，确保了结果的广泛适用性，同时对蒸馏的初始设置和学习率进行了详细调节。
🖼️ 关键图片
📊 实验亮点
实验结果显示，蒸馏和门控在外部响应上分别增加了显著的增益，但在贪婪再生后，蒸馏的增益仅为原来的小部分，门控几乎没有增益。这一现象在不同实验条件下均得到了验证，强调了目标再生对训练目标评估的重要性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理和多模态学习，尤其是在需要高效推测解码的场景中。通过优化训练目标的评估方法，能够提升大型语言模型在实际应用中的性能和效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Speculative decoding accelerates large language models by verifying drafted tokens in parallel. New draft-training objectives are usually credited with the acceptance they add over cross-entropy on externally written responses, yet many pipelines let the target rewrite them. We ask how much of that gain survives. With a vision-language target and a block drafter, we train three objectives on four versions of one corpus: cross-entropy on corpus tokens, token-level distillation from the target, and distillation gated to positions that would survive verification. Distillation and the gate add large gains on external responses, but after greedy regeneration, distillation adds a smaller gain and the gate little or none. The shrinkage persists across data orders, position weights, verifiers, decoding temperatures and, for distillation, initializations and learning rates. Most of it remains at matched supervised length and at each objective's best measured training length. A second vision corpus shows the shrinkage, as does a text-only replication, for distillation also with an autoregressive drafter. Objective gains should therefore be measured against a target-regenerated baseline and across training lengths. Our code is available at https://github.com/js-lee-AI/TargetRegeneration.