Proximal Policy Optimization in Path Space: A Schrödinger Bridge Perspective

📄 arXiv: 2603.21621v1 📥 PDF

作者: Yuehu Gong, Zeyuan Wang, Yulin Chen, Yanwei Fu

分类: cs.LG

发布日期: 2026-03-23

备注: 12 pages, 3figures

💡 一句话要点

提出GSB-PPO，一种基于广义薛定谔桥的路径空间近端策略优化方法，用于训练生成策略。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 近端策略优化 生成策略 扩散模型 薛定谔桥

📋 核心要点

  1. 传统PPO在动作空间进行优化，而生成策略（如扩散模型）更适合在轨迹空间表示，存在优化目标不匹配的问题。
  2. GSB-PPO将PPO的近端更新扩展到整个生成轨迹，利用广义薛定谔桥理论，统一了生成策略的在线策略优化视角。
  3. 实验表明，基于惩罚的GSB-PPO-Penalty比基于裁剪的GSB-PPO-Clip更稳定，性能更好，验证了路径空间近端正则化的有效性。

📝 摘要（中文）

本文提出了一种基于路径空间的生成式近端策略优化（PPO）方法，称为GSB-PPO，其灵感来源于广义薛定谔桥（GSB）。传统的PPO是在动作空间概率比率上进行公式化的，而扩散模型和基于流的策略更自然地表示为轨迹级别的生成过程。GSB-PPO将PPO风格的近端更新从终端动作提升到完整的生成轨迹，从而为生成策略的在线策略优化提供了一个统一的视角。在该框架下，我们开发了两个具体的目标：基于裁剪的目标GSB-PPO-Clip和基于惩罚的目标GSB-PPO-Penalty。实验结果表明，虽然这两个目标都与在线策略训练兼容，但惩罚公式比裁剪公式始终提供更好的稳定性和性能。总的来说，我们的结果强调了路径空间近端正则化是使用PPO训练生成策略的有效原则。

🔬 方法详解

问题定义：论文旨在解决生成策略（如基于扩散模型或流模型的策略）在强化学习中难以使用传统PPO进行有效训练的问题。现有PPO算法主要在动作空间进行优化，而生成策略天然是在轨迹空间进行建模的，这导致了优化目标的不匹配，限制了生成策略在强化学习中的应用。

核心思路：论文的核心思路是将PPO的优化目标从动作空间提升到轨迹空间，利用广义薛定谔桥（GSB）理论建立轨迹分布之间的关系，从而实现对生成策略的近端策略优化。通过在轨迹空间进行优化，可以更直接地控制生成策略的轨迹分布，提高训练效率和稳定性。

技术框架：GSB-PPO框架主要包含以下几个阶段：1) 使用生成策略生成轨迹样本；2) 计算轨迹的奖励和优势函数；3) 利用GSB理论计算新旧策略之间的轨迹概率比率；4) 使用PPO的目标函数（裁剪或惩罚）更新策略参数。该框架的关键在于将PPO的优化目标扩展到整个轨迹，而不仅仅是终端动作。

关键创新：论文最重要的创新点在于提出了基于广义薛定谔桥的路径空间PPO算法。与传统的动作空间PPO相比，GSB-PPO可以直接优化生成策略的轨迹分布，从而更有效地利用生成策略的表达能力。此外，论文还提出了两种具体的优化目标：GSB-PPO-Clip和GSB-PPO-Penalty，并验证了基于惩罚的目标更稳定和有效。

关键设计：论文的关键设计包括：1) 使用广义薛定谔桥来建模新旧策略之间的轨迹分布关系；2) 设计了基于裁剪和基于惩罚的两种PPO目标函数，用于在轨迹空间进行近端策略优化；3) 实验中使用了标准的强化学习环境，并与现有的PPO算法进行了比较，验证了GSB-PPO的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GSB-PPO在多个强化学习环境中都取得了显著的性能提升。特别是，基于惩罚的GSB-PPO-Penalty在稳定性和性能方面都优于基于裁剪的GSB-PPO-Clip。与传统的PPO算法相比，GSB-PPO能够更有效地训练生成策略，并获得更高的奖励。

🎯 应用场景

GSB-PPO具有广泛的应用前景，例如机器人运动规划、自动驾驶、游戏AI等领域。它可以用于训练复杂的生成策略，从而实现更自然、更智能的决策和控制。此外，该方法还可以应用于其他生成模型相关的强化学习任务，例如生成对抗网络（GAN）的训练。

📄 摘要（原文）

On-policy reinforcement learning with generative policies is promising but remains underexplored. A central challenge is that proximal policy optimization (PPO) is traditionally formulated in terms of action-space probability ratios, whereas diffusion- and flow-based policies are more naturally represented as trajectory-level generative processes. In this work, we propose GSB-PPO, a path-space formulation of generative PPO inspired by the Generalized Schrödinger Bridge (GSB). Our framework lifts PPO-style proximal updates from terminal actions to full generation trajectories, yielding a unified view of on-policy optimization for generative policies. Within this framework, we develop two concrete objectives: a clipping-based objective, GSB-PPO-Clip, and a penalty-based objective, GSB-PPO-Penalty. Experimental results show that while both objectives are compatible with on-policy training, the penalty formulation consistently delivers better stability and performance than the clipping counterpart. Overall, our results highlight path-space proximal regularization as an effective principle for training generative policies with PPO.