Process Reinforcement through Implicit Rewards

📄 arXiv: 2502.01456v2 📥 PDF

作者: Ganqu Cui, Lifan Yuan, Zefan Wang, Hanbin Wang, Yuchen Zhang, Jiacheng Chen, Wendi Li, Bingxiang He, Yuchen Fan, Tianyu Yu, Qixin Xu, Weize Chen, Jiarui Yuan, Huayu Chen, Kaiyan Zhang, Xingtai Lv, Shuo Wang, Yuan Yao, Xu Han, Hao Peng, Yu Cheng, Zhiyuan Liu, Maosong Sun, Bowen Zhou, Ning Ding

分类: cs.LG, cs.AI, cs.CL

发布日期: 2025-02-03 (更新: 2025-09-26)

备注: 24 pages. Model&Code&Data available at https://github.com/PRIME-RL/PRIME

💡 一句话要点

PRIME：通过隐式奖励强化语言模型的过程推理能力，无需显式过程奖励模型训练。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大型语言模型 过程奖励 隐式奖励 推理能力 数学问题求解 代码生成

📋 核心要点

  1. 现有方法训练过程奖励模型（PRM）成本高昂，需要大量高质量的过程标签，且容易受到奖励利用的攻击。
  2. PRIME通过隐式过程奖励，仅使用策略rollout和结果标签即可在线更新PRM，无需显式的过程标签。
  3. 实验表明，PRIME在数学和编码任务上显著提升了LLM的推理能力，超越了现有SFT模型和Instruct模型。

📝 摘要（中文）

在大型语言模型（LLM）的推理时扩展中，密集的中间过程奖励已被证明比稀疏的结果级奖励更有效，尤其是在需要复杂多步骤推理的任务中。虽然密集奖励也为LLM的强化学习（RL）提供了一个有吸引力的选择，因为它们细粒度的奖励有可能解决结果奖励的一些固有问题，如训练效率和信用分配，但这种潜力在很大程度上尚未实现。这主要归因于在线训练过程奖励模型（PRM）的挑战，其中收集高质量的过程标签成本高昂，使得它们特别容易受到奖励利用的影响。为了应对这些挑战，我们提出了PRIME（通过隐式奖励的过程强化），它仅使用策略rollout和结果标签，通过隐式过程奖励来实现PRM的在线更新。PRIME与各种优势函数很好地结合，并且放弃了现有方法所需的专用奖励模型训练阶段，从而大大降低了开发开销。我们证明了PRIME在竞争性数学和编码方面的有效性。从Qwen2.5-Math-7B-Base开始，PRIME在几个关键推理基准测试中实现了比SFT模型平均15.1%的改进。值得注意的是，我们生成的模型Eurus-2-7B-PRIME在七个推理基准测试中超过了Qwen2.5-Math-7B-Instruct，且仅使用了其10%的训练数据。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）强化学习中，训练过程奖励模型（PRM）成本高昂的问题。现有方法需要大量人工标注的高质量过程标签，这使得训练PRM非常耗时且昂贵。此外，PRM容易受到奖励利用（reward hacking）的影响，导致模型学习到不期望的行为。

核心思路：论文的核心思路是通过隐式奖励来强化LLM的过程推理能力。具体来说，PRIME利用策略rollout和最终结果标签，推断出中间步骤的隐式奖励，从而避免了对显式过程标签的依赖。这种方法降低了训练成本，并减少了奖励利用的风险。

技术框架：PRIME的整体框架包括以下几个主要步骤：1) 使用当前策略生成轨迹（rollout）；2) 根据最终结果标签计算隐式过程奖励；3) 使用计算得到的隐式奖励更新PRM；4) 使用更新后的PRM进行策略优化。该框架可以与各种优势函数相结合，例如GAE。与现有方法不同，PRIME不需要单独的奖励模型训练阶段。

关键创新：PRIME最重要的技术创新在于使用隐式奖励来训练PRM。与传统的显式奖励方法相比，隐式奖励方法无需人工标注过程标签，从而大大降低了训练成本。此外，隐式奖励可以更好地反映中间步骤对最终结果的贡献，从而提高训练效率。

关键设计：PRIME的关键设计包括：1) 如何从最终结果标签推断出中间步骤的隐式奖励；2) 如何选择合适的优势函数来优化策略；3) 如何平衡探索和利用，以避免陷入局部最优。具体的隐式奖励计算方法和优势函数选择可能需要根据具体任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PRIME在数学和编码任务上取得了显著的性能提升。例如，从Qwen2.5-Math-7B-Base开始，PRIME在多个关键推理基准测试中实现了比SFT模型平均15.1%的改进。更重要的是，使用PRIME训练得到的Eurus-2-7B-PRIME模型，仅使用Qwen2.5-Math-7B-Instruct 10%的训练数据，就在七个推理基准测试中超过了后者。

🎯 应用场景

PRIME方法可广泛应用于需要复杂多步骤推理的LLM强化学习任务中，例如数学问题求解、代码生成、逻辑推理等。该方法降低了训练成本，提高了训练效率，并减少了奖励利用的风险，有助于开发更强大、更可靠的LLM应用。

📄 摘要（原文）

Dense process rewards have proven a more effective alternative to the sparse outcome-level rewards in the inference-time scaling of large language models (LLMs), particularly in tasks requiring complex multi-step reasoning. While dense rewards also offer an appealing choice for the reinforcement learning (RL) of LLMs since their fine-grained rewards have the potential to address some inherent issues of outcome rewards, such as training efficiency and credit assignment, this potential remains largely unrealized. This can be primarily attributed to the challenges of training process reward models (PRMs) online, where collecting high-quality process labels is prohibitively expensive, making them particularly vulnerable to reward hacking. To address these challenges, we propose PRIME (Process Reinforcement through IMplicit rEwards), which enables online PRM updates using only policy rollouts and outcome labels through implict process rewards. PRIME combines well with various advantage functions and forgoes the dedicated reward model training phrase that existing approaches require, substantially reducing the development overhead. We demonstrate PRIME's effectiveness on competitional math and coding. Starting from Qwen2.5-Math-7B-Base, PRIME achieves a 15.1% average improvement across several key reasoning benchmarks over the SFT model. Notably, our resulting model, Eurus-2-7B-PRIME, surpasses Qwen2.5-Math-7B-Instruct on seven reasoning benchmarks with 10% of its training data.