Adaptive Decoding Methods for Token-Efficient Reinforcement Learning

📄 arXiv: 2610.25860v1 📥 PDF

作者: Zhaonan Li, Zelei Cheng, Amritansh Mishra, Chia-Hsuan Lee, Mann Patel, Sambit Sahu, Ben Zhou, William M. Campbell

分类: cs.LG, cs.AI

发布日期: 2026-10-19

💡 一句话要点

提出自适应解码方法以提高强化学习的采样效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 自适应解码 采样效率 动态调整 可验证奖励

📋 核心要点

  1. 现有方法在强化学习中对回滚解码的候选令牌支持固定，限制了采样效率的提升。
  2. 论文提出了一种动态调整候选令牌支持的调度策略，随着尝试令牌预算的增加，逐步扩大候选范围。
  3. 实验结果表明，采用自适应调度的模型在验证集上表现优于固定支持的基线，且提升幅度显著。

📝 摘要（中文）

本文研究了回滚解码在使用可验证奖励的强化学习（RLVR）中的作用，探讨了候选令牌支持在训练过程中应保持固定还是扩大。主要实验将候选令牌数量从10扩展到20，最终到全支持，结果显示在4B代码-RLVR设置中，该调度在所有三次实验中均优于固定K=10的基线，平均提升为1.80±0.42分。后续实验表明，后期扩大到全支持是最有前景的变体，尽管证据仍然不够明确。总体结果表明，回滚支持是RLVR中采样效率的重要控制因素，激励了对自适应支持调度的进一步研究。

🔬 方法详解

问题定义：本文旨在解决在可验证奖励的强化学习中，回滚解码的候选令牌支持固定所带来的采样效率低下的问题。现有方法未能充分利用动态调整候选令牌的潜力，导致性能瓶颈。

核心思路：论文提出了一种自适应解码方法，通过在训练过程中逐步扩大候选令牌的支持范围，来提高采样效率。具体来说，随着尝试令牌预算的增加，候选令牌数量从10扩展到20，最终达到全支持。

技术框架：整体架构包括三个主要阶段：初始阶段使用固定的候选令牌支持，随后在训练过程中动态调整候选范围，最后在预算充足时实现全支持。每个阶段的性能通过验证集进行评估，以确保采样效率的提升。

关键创新：最重要的技术创新在于提出了动态调整候选令牌支持的调度策略，这与现有方法的固定支持策略形成鲜明对比，能够更灵活地适应不同的训练需求。

关键设计：在实验中，候选令牌数量的设置、损失函数的选择以及网络结构的设计均经过精心调整，以确保在不同阶段的最佳性能。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，采用自适应调度的模型在4B代码-RLVR设置中，验证集的表现优于固定K=10的基线，平均提升为1.80±0.42分。此外，该调度与单独训练的固定K=20基线表现相当，显示出其有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、游戏智能体训练以及其他需要高效采样的强化学习任务。通过提高采样效率，能够显著降低训练时间和资源消耗，从而推动强化学习技术在实际场景中的应用和普及。

📄 摘要（原文）

Rollout decoding affects both which trajectories are used for reinforcement learning with verifiable rewards (RLVR) and how many completion tokens are spent collecting them. We study whether candidate-token support should remain fixed or widen during training in the context of rollout sampling efficiency. Our main schedule moves from top-K=10 to K=20 and then to full support as the attempted-token budget increases. In a 4B code-RLVR setting, the schedule has a higher interpolated 150M-token validation value than its matched fixed-K=10 continuation in all three runs, with a mean gain of $1.80{\pm}0.42$ points. The schedule also performs comparably to a separately trained fixed-K=20 baseline, the strongest fixed-support setting in our sweep. Follow-up experiments suggest that late widening to full support is the most promising variant, although the evidence remains noisy, and mixed-reward-group diagnostics do not clearly explain the gain. An exploratory single-run test replay yields identical point estimates for the schedule and fixed $K=10$. Overall, our results show that rollout support is an important control for sampling efficiency in RLVR and motivate further study of adaptive support schedules.