GrowMTP: Can RL Grow Its Own Draft Head?

📄 arXiv: 2609.16648v1 📥 PDF

作者: Minghua He, Lingzhe Zhang, Yuan Liu, Xiao Zhou, Aiwei Liu

分类: cs.LG, cs.CL

发布日期: 2026-09-15

💡 一句话要点

提出GrowMTP以解决RL训练中的草稿头生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 草稿头生成 在线训练 模型加速 自然语言处理

📋 核心要点

  1. 现有的强化学习训练方法在生成草稿头时需要预训练或热身，导致额外的训练成本和时间开销。
  2. GrowMTP通过在RL循环中直接训练草稿头，利用RL训练过程中的监督信号，避免了预训练的需求。
  3. 实验结果显示，GrowMTP在多个模型上实现了显著的生成速度和端到端速度提升，证明了其有效性。

📝 摘要（中文）

强化学习（RL）后训练推动了大型语言模型的前沿能力，但其时间开销主要集中在自回归生成上。尽管推测解码是解决这一瓶颈的有效方法，但现有的草稿头必须在RL之前进行预训练或热身，增加了训练成本。我们观察到，RL训练本身提供了在线草稿头训练所需的条件：其生成分布远比预训练窄，且验证步骤持续产生与该分布对齐的监督信号。基于这些观察，我们提出了GrowMTP，利用这些监督信号在RL循环中从零开始训练草稿头，所有头部更新与策略主干分离。在Qwen3-4B（无草稿头）、MiMo-7B-SFT（弱头）和Qwen3.5-4B-Base（强头）上，GrowMTP分别实现了2.13倍、1.93倍和1.36倍的生成速度提升，以及1.60倍、1.41倍和1.20倍的端到端速度提升。因此，GrowMTP作为模块化组件服务于现有的RL训练框架，特别为没有预训练草稿头的模型提供了从零开始的加速路径。

🔬 方法详解

问题定义：本文旨在解决现有强化学习训练中草稿头生成的效率问题。现有方法需要在RL训练之前进行预训练或热身，增加了训练成本和时间开销。

核心思路：GrowMTP的核心思路是利用RL训练过程中的监督信号，在RL循环中从零开始训练草稿头。这种方法避免了预训练的需求，并利用RL的生成分布特性。

技术框架：GrowMTP的整体架构包括RL训练模块和草稿头训练模块。RL模块负责生成样本，而草稿头模块则在RL的反馈下进行更新，确保两者之间的有效协同。

关键创新：GrowMTP的主要创新在于将草稿头的训练完全融入RL循环中，利用RL的生成分布和监督信号进行在线训练。这与传统方法的预训练方式形成了本质区别。

关键设计：在设计中，GrowMTP采用了与策略主干分离的草稿头更新机制，确保了训练的灵活性和效率。同时，损失函数的设计也考虑了与RL生成分布的对齐，以提高训练效果。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

GrowMTP在多个模型上取得了显著的实验结果：在Qwen3-4B模型上实现了2.13倍的生成速度提升，在MiMo-7B-SFT上提升了1.93倍，而在Qwen3.5-4B-Base上也达到了1.36倍的提升。此外，端到端速度提升分别为1.60倍、1.41倍和1.20倍，显示出其在加速RL训练方面的有效性。

🎯 应用场景

GrowMTP的研究成果具有广泛的应用潜力，尤其在需要高效生成的自然语言处理任务中，如对话系统、文本生成和机器翻译等领域。通过减少训练时间和成本，GrowMTP可以加速模型的迭代与部署，提升实际应用的效率和效果。

📄 摘要（原文）

Reinforcement learning (RL) post-training drives the frontier capabilities of large language models, with its wall-clock dominated by autoregressive rollout generation. Speculative decoding is an established remedy for this bottleneck, but existing draft heads must be pretrained or warmed up before RL, introducing substantial training cost outside the RL run to be accelerated. We observe that RL training itself provides both conditions required for online draft-head training: its rollout distribution is far narrower than that of pretraining, and its verification step continuously produces supervision signals aligned with this distribution. Building on these observations, we propose GrowMTP, which uses this supervision to train a draft head from scratch entirely within the RL loop, with all head updates detached from the policy backbone. On Qwen3-4B (no draft head), MiMo-7B-SFT (weak head), and Qwen3.5-4B-Base (strong head), GrowMTP achieves rollout speedups of 2.13x, 1.93x, and 1.36x, and end-to-end speedups of 1.60x, 1.41x, and 1.20x, respectively. GrowMTP therefore serves existing RL training frameworks as a modular component, particularly offering a from-scratch acceleration path for models without pretrained draft heads.