Local Guidance, Global Impact: Gaussian-Reshaped Trust Region Unlocks Behavior Transitions

📄 arXiv: 2606.03382v1 📥 PDF

作者: Bingxu Liu, Jiashun Liu, Johan Obando-Ceron, Hao Wang, Runze Liu, Pablo Samuel Castro, Aaron Courville, Ling Pan

分类: cs.LG, cs.AI

发布日期: 2026-06-02

备注: 21 pages

💡 一句话要点

提出高斯重塑信任区域优化以解决PPO在非平稳环境中的不足

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 信任区域 高斯核 策略优化 非平稳环境 几何感知 机器人控制

📋 核心要点

  1. 现有的PPO方法在非平稳环境中表现不佳，主要由于局部更新效率低下，缺乏几何感知指导。
  2. 本文提出高斯信任区域策略优化（GTR），通过高斯核重塑信任区域，增强局部稳定性并适应策略变化。
  3. GTR在多种任务中表现优异，包括游戏、机器人控制和语言模型后训练，显示出其在复杂环境中的有效性。

📝 摘要（中文）

尽管近端策略优化（PPO）在静态环境中表现良好，但在持续和非静态环境中却面临挑战。研究表明，PPO的局部更新效率低下，缺乏几何感知指导，导致行为模式转变受阻。为此，本文提出高斯信任区域策略优化（GTR），通过高斯核重塑信任区域，提供强局部稳定性并在高优势更新下逐步放宽约束。此外，引入混合高斯锚点以适应近期策略轨迹，降低因过时参考引起的方差。GTR在多个领域表现出色，展示了几何感知信任区域设计在复杂非平稳环境中的潜力。

🔬 方法详解

问题定义：本文旨在解决PPO在持续和非平稳环境中表现不佳的问题，现有方法的局部更新效率低下，导致行为模式转变受阻。

核心思路：提出高斯信任区域策略优化（GTR），通过高斯核重塑信任区域，使得约束条件既有局部稳定性又能在高优势更新下逐步放宽，从而促进有效的策略适应。

技术框架：GTR的整体架构包括信任区域的重塑模块和混合高斯锚点模块。前者通过高斯核实现信任区域的几何感知，后者则根据近期策略轨迹动态调整锚点，降低方差。

关键创新：GTR的主要创新在于使用高斯核重塑信任区域，打破了传统方法的单调性约束，允许在必要时进行较大的策略偏移，从而提高适应性。

关键设计：在GTR中，信任区域的边界是非单调的，设计了适应性强的混合高斯锚点，以应对过时参考带来的方差问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GTR在多个基准测试中表现优异，相较于传统PPO方法，提升了在非平稳环境中的适应能力，具体性能数据表明在多个任务中取得了显著的性能提升，展示了其广泛的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括游戏智能体、机器人控制、开放世界探索以及语言模型的后训练等。通过提升在复杂非平稳环境中的适应能力，GTR有望在实际应用中实现更高效的决策和控制，推动智能系统的进一步发展。

📄 摘要（原文）

While Proximal Policy Optimization (PPO) demonstrates strong performance in stationary settings, we show that its standard optimization paradigm struggles in continual and non-stationary environments. The failure does not stem from insufficient model capacity or overly restrictive clipping. Instead, PPO performs persistent, directionally inefficient local updates, which indicates a lack of geometry-aware guidance for accumulating meaningful behavioral change and ultimately hindering transitions toward new behavior patterns. Although divergence-based regularization introduces partial geometric awareness, its monotonically increasing penalties implicitly discourage large policy deviations, even when such shifts are necessary for effective adaptation. To address this limitation, we propose Gaussian Trust Region Policy Optimization (GTR), which reshapes the trust region using a Gaussian kernel. The resulting constraint is bounded and non-monotonic, providing strong local stability while progressively relaxing under sustained high-advantage updates. To further improve robustness, we introduce a Mixture Gaussian Anchor that adapts to recent policy trajectories, reducing variance induced by stale references. GTR is architecture-agnostic and achieves strong performance across games, simulated robotic control, open-world exploration, and language model post-training. These results demonstrate that geometry-aware trust-region design can be a promising direction for robust reinforcement learning in complex non-stationary environments. Our code is available at https://anonymous.4open.science/r/GTR_demo/README.md.