Unlocking the Critic: Reward-Free Policy Optimization for LLM Post-Training

📄 arXiv: 2609.37119v1 📥 PDF

作者: Hongyang Li, Xiao Li, Caesar Wu, Said Mammar, Grégoire Danoy, Pascal Bouvry

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-09-29

备注: 26 pages, 15 figures, 16 tables

💡 一句话要点

提出奖励无关的策略优化方法以提升LLM后训练效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长链推理 奖励无关优化 强化学习 大型语言模型 策略优化 评论者利用 计算效率

📋 核心要点

  1. 现有的评论者驱动的强化学习方法在长链推理中存在不稳定性和高内存消耗的问题。
  2. 论文提出的RFPO方法通过利用预训练的评论者，提供基于结果的学习信号，避免了对完整回合和外部奖励标签的依赖。
  3. 实验显示，RFPO在没有标签的情况下，性能与监督的PPO相当，同时显著降低了计算和内存开销。

📝 摘要（中文）

近年来，针对大型语言模型（LLM）的强化学习后训练方法逐渐去除评论者，以降低训练的不稳定性和内存开销。尽管评论者在训练结束后被丢弃，但其预测未来结果的能力可以为高效的长时间推理提供重要支持。本文提出奖励无关的策略优化（RFPO），利用预训练的评论者作为回报信号，显著提高了长链推理的稳定性和效率。实验结果表明，RFPO在没有任何标签的情况下，能够与监督的PPO相媲美，同时减少计算和内存开销。

🔬 方法详解

问题定义：本文旨在解决现有评论者驱动的强化学习方法在长链推理中存在的不稳定性和高内存消耗问题。现有方法在训练结束后丢弃评论者，导致无法充分利用其预测能力。

核心思路：论文提出的RFPO方法通过保留一个经过校准的、冻结的评论者，将其作为回报信号，利用其对未来成功的预测来优化策略，从而实现奖励无关的高效训练。

技术框架：RFPO的整体架构包括三个主要模块：预训练评论者、策略优化过程和结果预测。预训练评论者负责提供基于状态的回报信号，策略优化过程则利用这些信号进行策略更新，而结果预测模块则评估未完成前缀的成功概率。

关键创新：RFPO的核心创新在于将评论者的预测能力转化为奖励信号，避免了对完整回合的依赖，并通过二值化去偏差的评分来防止策略利用评论者的长度偏见。这一方法与传统的评论者驱动方法本质上不同。

关键设计：在RFPO中，评论者的输出经过二值化处理，以消除长度偏见。此外，优化过程中采用了小步长和低方差的策略更新，以确保稳定收敛。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，RFPO在没有任何标签的情况下，能够与监督的PPO方法相媲美，且在计算和内存开销上显著降低，提升幅度达到30%以上。这一成果挑战了当前的评论者无关范式，为LLM的后训练提供了新的思路。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和长文本生成等任务，尤其是在需要长时间推理的场景中。RFPO方法的高效性和低开销特性使其在资源受限的环境中具有实际价值，未来可能推动更多基于强化学习的语言模型应用。

📄 摘要（原文）

Recent approaches to reinforcement learning (RL) post-training for large language models increasingly remove the critic to reduce training instability and memory overhead. Even where a critic is trained, it is discarded once training ends, although it has learned to predict outcomes. We revisit this trend and show that a pretrained critic's ability to predict future outcomes can make it a valuable asset for efficient long-horizon reasoning. First, we find that instability in critic-based RL for long chain-of-thought reasoning is largely an optimization artifact: keeping policy updates small and low in variance restores stable convergence. Second, a well-pretrained critic estimates the posterior probability of eventual success from later trajectory states and unfinished prefixes. Its predictions provide outcome-derived, dense, per-prefix learning signals that, during policy optimization, require neither completed rollouts, step-level annotations, nor external reward labels. Building on this insight, we introduce Reward-Free Policy Optimization (RFPO), which repurposes a single calibrated, frozen critic as a rollout-level reward, a value baseline for generalized advantage estimation, and a success forecaster for unfinished prefixes. We further show that binarizing the debiased score stops the policy from exploiting the critic's length bias. Binarized, RFPO matches supervised PPO without a single label in the training loop, while cutting compute and memory overhead. This makes RFPO well suited to long-horizon reasoning tasks, where outcomes arrive late and generation dominates cost: because rollouts can be rewarded before they finish, training no longer has to pay for waiting on every trajectory to complete. Our findings challenge the prevailing critic-free paradigm and establish critic-based, reward-free optimization as a scalable and computationally efficient path for LLM post-training.