Rethinking Probability-Based Reinforcement Learning From Posterior Concentration

📄 arXiv: 2610.01458v2 📥 PDF

作者: Shiu-Hong Kao, Yubo Zhao, Zhenyu Tian, Pengzhan Sun, Yicong Li, Angela Yao

分类: cs.AI

发布日期: 2026-10-01 (更新: 2026-10-02)

💡 一句话要点

提出RLCPR以解决长序列推理中的奖励不稳定问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 概率强化学习 后验集中现象 长序列推理 无验证器学习 优化稳定性 数据采样 正则化技术

📋 核心要点

  1. 现有的基于概率的奖励机制在长序列推理中表现出不稳定性，导致优化效率低下。
  2. 本文提出RLCPR框架，通过引入集中意识的后验奖励来解决奖励不稳定的问题，提升优化过程的稳定性。
  3. 实验结果显示，RLCPR在多个基准测试中超越了现有的无验证器强化学习方法，提升幅度最高达4.0%。

📝 摘要（中文）

在缺乏外部验证器的情况下，基于概率的奖励机制为强化学习提供了一种新的训练大型语言模型（LLMs）的方法。然而，尤其在长序列推理中，这些奖励的可靠性尚未得到充分探讨。本文识别出了一种与序列长度相关的失败模式，称为后验集中现象（PCP），即参考答案的概率在推理轨迹变长时往往会收敛到一个低方差区间。这导致奖励几乎无法区分，从而在基于GRPO的设置下使得基于概率的策略优化变得不稳定和低效。为此，本文提出了集中意识后验奖励的强化学习框架（RLCPR），旨在显著提高优化的稳定性和令牌效率。实验表明，RLCPR在六个基准测试中比现有的无验证器强化学习基线提高了最高4.0%的性能。

🔬 方法详解

问题定义：本文旨在解决在长序列推理中基于概率的奖励机制导致的优化不稳定性问题。现有方法在处理长推理轨迹时，奖励的区分度降低，影响了学习效果。

核心思路：RLCPR框架通过考虑后验集中现象（PCP），引入集中意识的后验奖励，旨在提高奖励的可靠性和优化的稳定性。通过对数据采样和奖励正则化的改进，来减少长序列带来的负面影响。

技术框架：RLCPR包含两个主要模块：不确定性意识的数据采样，旨在减少集中倾向的回合；集中意识的正则化，旨在惩罚不必要的长轨迹，从而避免后验奖励的崩溃。

关键创新：RLCPR的核心创新在于将后验集中现象纳入强化学习框架，显著改善了基于概率的奖励机制的稳定性和效率。这一设计与传统方法相比，能够更有效地处理长序列推理任务。

关键设计：在RLCPR中，采用了不确定性意识的数据采样策略，确保生成的轨迹具有较高的多样性。同时，设计了集中意识的损失函数，以惩罚过长的推理轨迹，确保奖励的有效性和稳定性。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RLCPR在六个基准测试中相较于现有的无验证器强化学习基线，性能提升最高达4.0%。这一结果展示了RLCPR在提高令牌效率和优化稳定性方面的显著优势，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的推理任务、对话系统以及其他需要长序列决策的场景。通过提高奖励机制的稳定性，RLCPR能够在缺乏外部验证的情况下，提升大型语言模型在复杂推理任务中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Verifier-free reinforcement learning with probability-based rewards offers a promising way to train LLMs on general reasoning tasks where external verifiers are unavailable. Yet the reliability of these rewards, especially in long-horizon reasoning, remains underexplored. This work identifies a length-dependent failure mode of probability rewards, which we call the Posterior Concentration Phenomenon (PCP). We show that the probability of a reference answer conditioned on a reasoning trace often collapses to a low-variance interval as the trace becomes lengthy. This phenomenon results in nearly indistinguishable rewards, which, under GRPO-based settings, makes probability-based policy optimization unstable and inefficient. Motivated by this, we propose Reinforcement Learning with Concentration-aware Posterior Rewards (RLCPR), a verifier-free RL framework to explicitly account for PCP for better optimization stability and token efficiency. It has two components: uncertainty-aware data sampling, which reduces concentration-prone rollouts before generation, and concentration-aware regularization, which penalizes unnecessarily long traces when posterior rewards collapse. Extensive experiments show that, alongside higher token efficiency, RLCPR outperforms the state-of-the-art verifier-free RL baseline by up to 4.0% on six of seven benchmarks, including general-domain and mathematical reasoning challenges.