OR Else: A Differentiable Trust Region for Policy Optimization

📄 arXiv: 2607.18163v1 📥 PDF

作者: Chinmay Rane, Kanishka Tyagi, Michael Manry

分类: cs.LG, cs.AI

发布日期: 2026-07-20

备注: 22 pages, 5 figures

💡 一句话要点

提出可微信任区域方法以优化策略训练

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 策略优化 输出重置 平滑饱和 奖励模型 大型语言模型 PPO GRPO 优化稳定性

📋 核心要点

  1. 现有的PPO和GRPO方法在优化过程中使用的剪切目标导致了标量目标导数的突变，影响了训练效果。
  2. 论文提出了输出重置（OR）作为一种替代方案，通过平滑的饱和规则来改善策略优化过程。
  3. 实验结果表明，PPO-OR在GAE下的表现优于PPO-clip，而GRPO-OR则在变动性和残差方面表现更佳。

📝 摘要（中文）

本论文探讨了PPO和GRPO基线方法中使用的剪切替代目标的不足，提出了输出重置（OR）作为一种平滑的一侧饱和规则，旨在为大型语言模型的后训练提供替代方案。PPO-OR和GRPO-OR通过在回滚相对的标记对数比空间中替换剪切策略项，使用OR平方边际损失。实验结果显示，在GAE下，PPO-OR的最终训练时间奖励模型得分比PPO-clip高出0.305，且跨种子表现更为一致。尽管GRPO-OR在均值得分上未超越GRPO，但其表现出较小的观察到的变动和接近零的终端OR残差。

🔬 方法详解

问题定义：本论文旨在解决现有PPO和GRPO方法中剪切目标导致的优化不稳定性，特别是标量目标导数的突变问题。

核心思路：提出输出重置（OR）作为一种平滑的一侧饱和规则，替代传统的剪切策略项，以改善策略优化的稳定性和效果。

技术框架：整体方法包括PPO-OR和GRPO-OR，前者在回滚相对标记对数比空间中使用OR平方边际损失，后者则基于组相对优势进行优化。

关键创新：OR方法通过引入平滑的饱和机制，改变了优化行为，尤其是在奖励模型得分的表现上与传统方法存在显著差异。

关键设计：在损失函数设计中，OR方法确保在跨越有利边际后，标记的直接OR残差为零，从而影响更新方向和策略优化过程。实验中使用了Llama-3.2-1B-Instruct模型，并在Anthropic的hh-rlhf数据集上进行评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PPO-OR在GAE下的最终训练时间奖励模型得分比PPO-clip高出0.305，且跨种子表现更为一致。虽然GRPO-OR在均值得分上未超越GRPO，但其变动性显著降低，终端OR残差接近零，显示出优化行为的变化。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的后训练优化，尤其是在需要高效策略更新的场景中。通过引入OR方法，可以提高模型在实际应用中的稳定性和性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

PPO and the GRPO baseline studied here use clipped surrogate objectives whose favorable-direction saturation introduces an abrupt change in the scalar objective's derivative. We ask whether Output Reset (OR), a smooth one-sided saturation rule, offers a useful alternative for large language model post-training. PPO-OR and GRPO-OR replace the clipped policy term with an OR squared-margin loss in rollout-relative token log-ratio space; the advantage sign determines the update direction, and a token contributes zero direct OR residual after crossing the favorable margin. We compare PPO-clip with PPO-OR under generalized advantage estimation (GAE), and GRPO with GRPO-OR under group-relative advantages, using \texttt{Llama-3.2-1B-Instruct} on Anthropic \texttt{hh-rlhf} with one shared reward model and three seeds per method. Under GAE, PPO-OR has a mean final training-time reward-model score $0.305$ higher than PPO-clip, with a larger observed across-seed spread. Under group-relative advantages, GRPO-OR does not have a higher mean score, but shows a smaller observed spread, a near-zero terminal OR residual, and a declining overshoot fraction, while the matched GRPO clipped-objective trace remains variable. Both group-relative methods exhibit substantially larger rollout-to-current log-ratio displacement than the GAE methods, and OR does not consistently reduce it. Thus, OR changes optimization behavior in both matched comparisons, but the observed reward effect differs between them. At $G=2$, the GRPO-OR diagnostics do not translate into a reward-score gain. Whether larger groups change this outcome remains open. The reported scores are training-time reward-model measurements, not held-out human-preference performance.