Rethinking Probability-Based Reinforcement Learning From Posterior Concentration

📄 arXiv: 2610.01458v1 📥 PDF

作者: Shiu-Hong Kao, Yubo Zhao, Zhenyu Tian, Pengzhan Sun, Yicong Li, Angela Yao

分类: cs.AI

发布日期: 2026-10-01

💡 一句话要点

提出RLCPR以解决长时推理中的奖励不稳定问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 后验集中现象 概率奖励 长时推理 数据采样 正则化 大型语言模型

📋 核心要点

  1. 现有的基于概率的奖励在长时推理中表现不稳定，导致优化效率低下。
  2. 提出RLCPR框架，通过不确定性感知的数据采样和集中感知的正则化来应对后验集中现象。
  3. 实验结果显示，RLCPR在多个基准测试中超越了现有无验证者RL方法，提升幅度达到4.0%。

📝 摘要（中文）

无验证者的基于概率的强化学习为训练大型语言模型（LLMs）在一般推理任务中提供了有前景的方法。然而，这些奖励的可靠性，尤其是在长时推理中，仍然未得到充分探索。本文识别了一种与长度相关的概率奖励失效模式，称为后验集中现象（PCP）。我们展示了在推理轨迹变长时，参考答案的概率往往会收敛到一个低方差区间。这一现象导致奖励几乎无法区分，从而在基于GRPO的设置下，使得基于概率的策略优化不稳定且低效。为此，我们提出了考虑集中性的后验奖励的强化学习框架（RLCPR），以显式应对PCP，从而提高优化的稳定性和令牌效率。实验表明，RLCPR在六个基准测试中比现有的无验证者RL基线提高了最多4.0%的性能。

🔬 方法详解

问题定义：本文旨在解决长时推理中基于概率的奖励不稳定性问题。现有方法在处理长推理轨迹时，奖励的区分度降低，导致策略优化效率低下。

核心思路：论文提出RLCPR框架，专注于后验集中现象（PCP），通过不确定性感知的数据采样和集中感知的正则化来提高奖励的稳定性和有效性。

技术框架：RLCPR框架主要包括两个模块：不确定性感知的数据采样模块，旨在减少集中倾向的回滚；集中感知的正则化模块，旨在惩罚不必要的长轨迹。

关键创新：RLCPR的核心创新在于显式考虑后验集中现象，区别于传统方法的单一奖励机制，从而提高了优化的稳定性和效率。

关键设计：在RLCPR中，采用了新的损失函数来平衡奖励的集中性，并设计了特定的参数设置以优化数据采样过程，确保在生成过程中减少集中现象的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RLCPR在六个基准测试中比现有的无验证者RL基线提高了最多4.0%的性能，展示了其在提高令牌效率和优化稳定性方面的显著优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和自动推理等。通过提高长时推理的奖励稳定性，RLCPR能够在缺乏外部验证者的情况下，提升大型语言模型在复杂推理任务中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Verifier-free reinforcement learning with probability-based rewards offers a promising way to train LLMs on general reasoning tasks where external verifiers are unavailable. Yet the reliability of these rewards, especially in long-horizon reasoning, remains underexplored. This work identifies a length-dependent failure mode of probability rewards, which we call the Posterior Concentration Phenomenon (PCP). We show that the probability of a reference answer conditioned on a reasoning trace often collapses to a low-variance interval as the trace becomes lengthy. This phenomenon results in nearly indistinguishable rewards, which, under GRPO-based settings, makes probability-based policy optimization unstable and inefficient. Motivated by this, we propose Reinforcement Learning with Concentration-aware Posterior Rewards (RLCPR), a verifier-free RL framework to explicitly account for PCP for better optimization stability and token efficiency. It has two components: uncertainty-aware data sampling, which reduces concentration-prone rollouts before generation, and concentration-aware regularization, which penalizes unnecessarily long traces when posterior rewards collapse. Extensive experiments show that, alongside higher token efficiency, RLCPR outperforms the state-of-the-art verifier-free RL baseline by up to 4.0% on six of seven benchmarks, including general-domain and mathematical reasoning challenges.