Learning as Reasoning Unfolds: Progressive Rollout Allocation for Efficient Reinforcement Learning

📄 arXiv: 2607.22002v1 📥 PDF

作者: Heyang Jiang, Henry Liu, Baharan Mirzasoleiman

分类: cs.AI

发布日期: 2026-07-24

💡 一句话要点

提出VIGOR以解决GRPO在强化学习中的效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 推理分配 方差引导 效率优化 自然语言处理 编码任务 计算资源

📋 核心要点

  1. 现有的GRPO方法在生成长链推理时计算成本高，且许多推理过程信息量低，导致效率低下。
  2. 本文提出的VIGOR方法通过初始少量推理并根据奖励方差动态分配推理次数，优化了资源使用。
  3. 实验结果显示，VIGOR在数学推理任务中减少了2.3倍的推理次数，并在编码任务中提升了测试通过率3.4分。

📝 摘要（中文）

具有可验证奖励的强化学习（RLVR）已成为提高大型语言模型推理能力的有效框架，但现有的GRPO方法依赖于重复生成长链推理过程，导致计算成本高且不稳定。为此，本文提出了方差引导在线推理分配（VIGOR），通过初始少量推理并根据奖励方差动态分配额外推理，从而显著提高效率。实验结果表明，VIGOR在数学推理和编码任务中分别减少了2.3倍和1.49倍的推理次数，同时提升了测试通过率。

🔬 方法详解

问题定义：本文旨在解决GRPO方法在强化学习中因重复生成长链推理而导致的高计算成本和不稳定性问题。现有方法往往需要生成大量推理过程，其中许多是无效的，导致资源浪费。

核心思路：VIGOR方法的核心思想是通过初始少量推理并根据每个示例的奖励方差动态分配额外推理次数，从而提高推理的效率和稳定性。通过这种方式，VIGOR能够更有效地利用计算资源，减少不必要的推理。

技术框架：VIGOR的整体架构包括初始推理阶段和动态分配阶段。在初始阶段，为每个示例分配少量推理；在动态分配阶段，根据奖励方差的高低，迭代地为高方差的示例分配更多的推理，直到达到固定的总推理预算。

关键创新：VIGOR的主要创新在于其动态推理分配机制，区别于传统方法的固定推理预算分配。这种方法能够更灵活地响应不同示例的学习需求，从而提高整体效率。

关键设计：在VIGOR中，奖励方差被用作控制梯度大小的关键参数，设计了闭式加速比公式，表明在Pareto分布的奖励方差下，随着迭代轮次的增加，VIGOR的加速比会不断提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VIGOR在数学推理任务中以2.3倍更少的推理次数达到目标准确率，在编码任务中以1.49倍更少的推理次数达到了GRPO的最终通过率，同时提升了编码任务的平均测试通过率3.4分，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、自动编程和智能决策系统等。通过提高强化学习的效率，VIGOR能够在实际应用中显著减少计算资源的消耗，提升模型的响应速度和准确性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) has emerged as a highly effective framework for improving LLM reasoning, with methods such as GRPO among its most successful instantiations. However, GRPO relies on repeated generation of long chain-of-thought rollouts. Training time scales with the number of rollouts, a large fraction of which are uninformative. Thus, GRPO is computationally expensive and unstable. To mitigate this, existing approaches either generate a larger pool of rollouts and filter the most informative prompts, or leverage historical signals for filtering at later stages of training. These strategies offer modest performance gains, but slow down the overall process. To address this, we propose VarIance Guided Online Rollout allocation (VIGOR) which instead of allocating a fixed rollout budget per example, begins with a small number of rollouts for all examples in a batch and iteratively allocates additional rollouts to those with the highest group reward variance until a fixed total rollout budget is reached. Theoretically, we show that under RLVR, reward variance controls the gradient magnitude, and derive VIGOR's closed-form speedup ratio over GRPO, which grows with refinement rounds under Pareto-distributed reward variance. Experiments on mathematical reasoning and coding tasks show that VIGOR reaches target accuracy with up to 2.3$\times$ fewer rollouts on math, reaches GRPO's final coding full pass rate with 1.49$\times$ fewer rollouts, and improves the coding average test pass rate by 3.4 points.