BoT-GRPO: Efficient Process-Reward RL for Reasoning via Bag-of-Token Aggregation

📄 arXiv: 2610.09804v1 📥 PDF

作者: Yingxiang Yang, Weihang Xiao, Zhunxuan Wang, Joshua Flashner, Niresh Agarwal

分类: cs.LG

发布日期: 2026-10-07

备注: Published at the COLM 2026 Workshop on Efficient Reasoning

💡 一句话要点

提出BoT-GRPO以提高强化学习中推理效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 推理 代码生成 数学推理 奖励模型 过程监督 算法优化

📋 核心要点

  1. 现有的GRPO算法在回滚过程中对每个token的处理缺乏灵活性，导致收敛速度慢和最终质量不高。
  2. BoT-GRPO通过token级奖励模型和“token包”聚合方法，提升了过程监督的效率，避免了价值网络的使用。
  3. 在多个任务上，BoT-GRPO展示了显著的性能提升，尤其是在代码生成和数学推理任务中，收敛速度和最终结果均优于现有方法。

📝 摘要（中文）

强化学习在大型语言模型推理中发挥着核心作用，而现有的Group Relative Policy Optimization (GRPO)算法在每次回滚中对每个token给予相同的优势。本文提出了Bag-of-Tokens Group Relative Policy Optimization (BoT-GRPO)，通过长度不变的“token包”聚合，提升过程监督的效率。该方法在React前端代码生成任务中实现了80%的编译率，比GRPO快1.9倍，并且在AIME数学推理任务中相较于GRPO在步骤数减少一半的情况下，Pass@$k$提升了8.1%。

🔬 方法详解

问题定义：本文旨在解决现有GRPO算法在强化学习中对token处理的低效性，导致收敛速度慢和最终性能不足的问题。

核心思路：提出BoT-GRPO，通过token级奖励模型和“token包”聚合方法，提升过程监督的效率，避免了使用复杂的价值网络。

技术框架：BoT-GRPO的整体架构包括token级奖励的收集、基于源序列长度的加权、以及相对加权组统计的优势计算，形成一个无评论员的强化学习框架。

关键创新：BoT-GRPO的主要创新在于引入了“token包”聚合方法，使得每个token的奖励能够根据其源序列长度进行加权，从而提高了学习效率和最终性能。

关键设计：在设计中，关键参数包括token奖励的加权方式和聚合策略，损失函数则侧重于稳定性而非丰富性，以确保学习过程中的信号清晰且一致。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在React前端代码生成任务中，BoT-GRPO达到了80%的编译率，速度比GRPO快1.9倍；在AIME数学推理任务中，Pass@$k$的提升幅度达到8.1%，且所需步骤减少了一半，显示出显著的性能优势。

🎯 应用场景

BoT-GRPO的研究成果在多个领域具有潜在应用价值，特别是在需要高效推理的自然语言处理任务中，如代码生成、数学推理等。其高效的学习机制和稳定的奖励模型能够为未来的强化学习研究提供新的思路和方法。

📄 摘要（原文）

Reinforcement learning is now central to eliciting reasoning in large language models, while in the popular algorithm Group Relative Policy Optimization (GRPO) every token in a rollout receives the same advantage. We ask how to make process supervision efficient: accelerating convergence and improving final quality without the cost of value networks. We propose Bag-of-Tokens Group Relative Policy Optimization (BoT-GRPO), which extends GRPO to token-level reward models through a length-invariant "bag of tokens" aggregation: it collects all token-level rewards across rollouts, weights each by the inverse of its source sequence length, and computes per-token advantages relative to weighted group statistics. BoT-GRPO is critic-free, and is a drop-in replacement wherever GRPO is used when token-level reward is available. On React front-end code generation, BoT-GRPO reaches $80\%$ compile rate up to $1.9\times$ faster than GRPO and converges faster than modern GRPO variants (GSPO, DAPO, PURE) while reaching higher final compile and VLM-judged win rates. On a second task, AIME mathematical reasoning, BoT-GRPO delivers absolute Pass@$k$ gains up to $8.1\%$ over GRPO in half the steps. For both tasks we compare the algorithm's performance on reasoning vs. non-reasoning base-model families (Qwen2.5-3B, SmolLM3-3B, Phi-4-mini-reasoning). Our experiments also yield a practical recipe for the reward model itself: reward stability matters more than richness: clean, bounded, stable fine-grained signals consistently accelerate learning where noisier alternatives stall.