Generalized Proximal Policy Optimization: Unifying LLM RL Algorithms from the Perspective of Divergence

📄 arXiv: 2610.13015v1 📥 PDF

作者: Zhicheng Cai, Xinyuan Guo, Hanlin Wu, Weinan Dai, Yuyan Zhou, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou

分类: cs.LG, cs.AI

发布日期: 2026-10-09

💡 一句话要点

提出广义近端策略优化以解决现有PPO方法的局限性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 大语言模型 近端策略优化 发散理论 算法设计 性能提升 数学基准 编码基准

📋 核心要点

  1. 现有的PPO方法在应对策略变化时存在剪切过早和探索能力不足的问题，影响了强化学习的效果。
  2. 本文提出的GPPO框架通过广义$f$-发散理论，提供了对LLM强化学习算法的统一理解和设计方法。
  3. 在八个竞争级别的数学和编码基准测试中，GPPO的最佳实例在数学和编码任务上分别超越了标准GRPO达50%和14%。

📝 摘要（中文）

强化学习已成为提升大语言模型（LLMs）推理能力的基础范式。然而，现有的主流方法近端策略优化（PPO）依赖于几何退化的剪切代理，无法适应策略变化的抵抗力，导致过早剪切和探索能力下降。为此，本文提出广义近端策略优化（GPPO），通过发散的视角为理解和设计LLM强化学习算法提供了一个统一的框架。我们建立了一个广义$f$-发散信任区域理论，保证了单调的性能提升，并展示了不同的$f$-发散引入了不同的几何和策略更新动态。实验结果表明，GPPO在数学和编码基准测试中表现优异，超越了标准GRPO。

🔬 方法详解

问题定义：本文旨在解决现有PPO方法在策略更新中存在的剪切过早和探索不足的问题，这些问题导致了强化学习效果的下降。

核心思路：GPPO通过引入广义$f$-发散理论，提供了一种新的信任区域方法，能够适应不同的策略变化，从而提升强化学习的性能。

技术框架：GPPO框架包括两个主要维度：发散和估计器。通过这两个维度的组合，形成了一个统一的设计空间，能够更好地理解和设计强化学习算法。

关键创新：最重要的创新在于建立了广义$f$-发散信任区域理论，并引入了新的估计器拓扑，提供比传统单样本蒙特卡洛估计更准确的发散估计。

关键设计：在设计中，GPPO采用了多种发散类型和估计器组合，允许灵活的策略更新和性能优化，具体参数设置和损失函数设计在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，GPPO在八个竞争级别的数学和编码基准测试中表现出色，最佳实例在数学任务上超越标准GRPO达50%，在编码任务上超越14%，展现了显著的性能提升，达到了当前的最先进水平（SOTA）。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、自动编码、游戏智能等，能够显著提升大语言模型在复杂任务中的推理能力和决策效率。未来，GPPO框架可能会推动更多强化学习算法的创新与发展，促进智能系统的广泛应用。

📄 摘要（原文）

Reinforcement learning has become the foundational paradigm for enhancing the reasoning capabilities of LLMs. Yet the dominant approach, Proximal Policy Optimization (PPO), relies on a geometrically degenerate clipping proxy that cannot adapt its resistance to policy shifts, leading to premature clipping and degraded exploration. Subsequent variants alleviate these issues through fragmented and heuristic modifications. We propose Generalized Proximal Policy Optimization (GPPO), a principled and unified framework for understanding and designing LLM RL algorithms through the lens of divergence. We establish a generalized $f$-divergence trust-region theory with a monotonic performance improvement guarantee, and show that different $f$-divergences induce distinct geometries and policy update dynamics. We further introduce novel estimator topologies that provide more faithful divergence estimates than the conventional single-sample Monte Carlo estimation. Under this framework, PPO and recent variants such as DAPO, DPPO, and RIPO emerge as special cases, establishing a principled two-dimensional design space of {Divergence $\times$ Estimator}. Extensive experiments on eight competition-level math and coding benchmarks show that both dimensions are critical. The best-performing GPPO instantiation surpasses standard GRPO by up to 50% and 14% on math and coding, delivering SOTA performance.