Rethinking Critic Learning in PPO: Understanding and Mitigating Value Flattening

📄 arXiv: 2609.18708v1 📥 PDF

作者: Yizhuo Li, Jianhao Yan, Yun Luo, Zhi Wang, Futing Wang, Rong-Xi Tan, Kanghui Tian, Ganqu Cui, Ning Ding, Peilin Zhao, Yafu Li, Yu Cheng

分类: cs.LG, cs.AI

发布日期: 2026-09-16

💡 一句话要点

提出SP$^3$O以解决PPO中的价值平坦化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 近端策略优化 价值平坦化 稀疏监督 状态值估计 大型语言模型 策略优化

📋 核心要点

  1. 现有的PPO方法在评论家学习中存在价值平坦化问题，导致状态值估计不准确。
  2. 论文提出SP$^3$O，通过对少数分离状态应用价值损失来减轻价值平坦化现象。
  3. 实验结果显示，SP$^3$O在多个模型规模上均能有效提升学习策略的性能。

📝 摘要（中文）

在针对大型语言模型的强化学习中，近端策略优化（PPO）通常使用评论家来估计状态值并减少策略更新的方差。然而，我们发现PPO评论家存在一种系统性失败模式，称为价值平坦化：从多个蒙特卡洛延续中估计的状态值在中间状态之间变化剧烈，而评论家预测则相对平坦。我们在受控的FrozenLake环境中观察到这一现象，并发现随着状态空间的增长，这种现象变得更加明显。基于这些发现，我们提出了稀疏近端策略优化（SP$^3$O），该方法仅对每个响应中的少数几个分离状态应用价值损失，从而减轻了这两种影响。实验结果表明，SP$^3$O在仅监督三个状态的情况下，可以有效缓解价值平坦化，并在不同模型规模和评估套件中持续改善学习策略。

🔬 方法详解

问题定义：本文旨在解决PPO中评论家学习的价值平坦化问题。现有方法在状态空间增大时，状态值估计变化剧烈，而评论家预测却保持平坦，导致学习效果不佳。

核心思路：论文的核心思路是通过稀疏监督策略，仅对少数几个分离状态应用价值损失，从而减轻评论家学习中的价值平坦化现象。这样的设计旨在提高状态值估计的准确性和策略更新的有效性。

技术框架：整体架构包括状态值估计模块和策略更新模块。首先，通过多个蒙特卡洛延续估计状态值，然后在稀疏监督的基础上更新评论家的损失函数，最后进行策略的优化更新。

关键创新：最重要的技术创新点在于引入了稀疏监督策略，显著减少了评论家学习中的冗余更新，改善了状态值的估计精度。这一方法与传统的PPO方法在损失计算上有本质区别。

关键设计：在损失函数设计上，SP$^3$O仅对三个分离状态进行监督，避免了来自时间相关状态的冗余更新。此外，论文还探讨了如何选择这些状态以最大化学习效果。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，SP$^3$O在仅监督三个状态的情况下，能够有效缓解价值平坦化，且在Qwen3-Base模型上，学习策略的性能在多个评估套件中均有显著提升，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的训练和强化学习算法的优化。通过改善评论家学习的效果，SP$^3$O可以在多种复杂环境中提升智能体的学习效率和决策能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

In reinforcement learning for large language models, Proximal Policy Optimization (PPO) commonly uses a critic to estimate state values and reduce the variance of policy updates. However, we uncover a systematic failure mode in PPO critics, which we call Value Flattening: state values, estimated from multiple Monte Carlo continuations, change sharply across intermediate states while critic predictions remain comparatively flat. We further observe this phenomenon in a controlled FrozenLake environment and find that it becomes more pronounced as the state space grows. Our theoretical and empirical analyses relate Value Flattening to an implicit variance penalty in the critic loss and redundant updates from temporally correlated states with similar gradients. Motivated by these findings, we introduce SParse Proximal Policy Optimization (SP$^3$O), which applies the value loss to only a few well-separated states in each response to mitigate both effects. Experiments on Qwen3-Base show that SP$^3$O with only three states supervised per response can mitigate Value Flattening and consistently improve the learned policy across model sizes and evaluation suites. Together, our results identify Value Flattening as an important yet overlooked failure mode of critic learning in standard PPO and show that a simple sparse supervision strategy can mitigate it.