Adversarial Constrained Policy Optimization: Improving Constrained Reinforcement Learning by Adapting Budgets

📄 arXiv: 2410.20786v1 📥 PDF

作者: Jianmina Ma, Jingtian Ji, Yue Gao

分类: cs.LG, cs.RO

发布日期: 2024-10-28

备注: 21 pages, 8 figures

💡 一句话要点

提出对抗约束策略优化(ACPO)，通过自适应预算改进约束强化学习。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 约束强化学习 对抗学习 策略优化 成本预算 安全强化学习

📋 核心要点

  1. 约束强化学习难以平衡任务性能与约束满足，易陷入局部最优。
  2. ACPO将约束问题分解为对抗阶段，交替优化奖励和成本预算。
  3. 实验表明，ACPO在Safety Gymnasium和四足运动任务上优于基线。

📝 摘要（中文）

约束强化学习在同时考虑奖励和约束的安全关键领域取得了可喜的进展。然而，约束强化学习方法在任务性能和约束满足之间取得适当的平衡方面面临挑战，并且容易陷入过度保守或违反约束的局部最小值。在本文中，我们提出了对抗约束策略优化（ACPO），它能够在训练期间同时优化奖励和调整成本预算。我们的方法将原始约束问题分为两个交替解决的对抗阶段，并且我们的算法的策略更新性能可以在理论上得到保证。我们通过在Safety Gymnasium和四足运动任务上进行的实验验证了我们的方法。结果表明，与常用的基线相比，我们的算法取得了更好的性能。

🔬 方法详解

问题定义：约束强化学习旨在优化奖励的同时满足约束条件，但在实际应用中，现有方法常常难以在两者之间取得平衡。它们容易陷入过度保守的策略，导致性能下降，或者违反约束，造成安全风险。因此，如何在保证安全性的前提下，提升任务完成效率是该领域的核心挑战。

核心思路：ACPO的核心思路是将原始的约束强化学习问题分解为两个对抗性的子问题。一个子问题负责优化策略以最大化奖励，同时尽量满足约束；另一个子问题则负责调整成本预算，使得策略能够更好地在奖励和约束之间进行权衡。通过这种对抗的方式，算法可以动态地适应环境，避免陷入局部最优。

技术框架：ACPO的整体框架包含两个主要阶段：策略优化阶段和预算调整阶段。在策略优化阶段，算法使用标准的策略梯度方法更新策略，目标是最大化奖励并满足约束。在预算调整阶段，算法根据策略的性能调整成本预算。如果策略违反了约束，则增加成本预算，反之则减少成本预算。这两个阶段交替进行，直到算法收敛。

关键创新：ACPO的关键创新在于引入了对抗学习的思想，将约束强化学习问题分解为两个对抗性的子问题。这种方法允许算法在训练过程中动态地调整成本预算，从而更好地平衡奖励和约束。与传统的约束强化学习方法相比，ACPO能够更有效地探索策略空间，避免陷入局部最优。

关键设计：ACPO的关键设计包括：1) 使用拉格朗日乘子法来处理约束条件，将约束问题转化为无约束问题；2) 使用对抗学习框架来调整成本预算，其中一个网络负责生成成本预算，另一个网络负责评估策略的性能；3) 使用信任域策略优化（TRPO）或近端策略优化（PPO）等算法来更新策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ACPO在Safety Gymnasium和四足运动任务上进行了验证，实验结果表明，ACPO在这些任务上优于常用的基线算法。具体来说，ACPO在Safety Gymnasium的多个环境中取得了更高的平均奖励和更低的约束违反率。在四足运动任务中，ACPO能够训练出更稳定、更高效的运动策略。

🎯 应用场景

ACPO适用于各种安全关键领域的强化学习任务，例如自动驾驶、机器人控制、资源管理等。在这些领域中，需要在最大化任务性能的同时，严格满足各种约束条件，以确保安全性和可靠性。ACPO通过自适应地调整成本预算，能够有效地平衡奖励和约束，从而提高这些任务的性能和安全性。

📄 摘要（原文）

Constrained reinforcement learning has achieved promising progress in safety-critical fields where both rewards and constraints are considered. However, constrained reinforcement learning methods face challenges in striking the right balance between task performance and constraint satisfaction and it is prone for them to get stuck in over-conservative or constraint violating local minima. In this paper, we propose Adversarial Constrained Policy Optimization (ACPO), which enables simultaneous optimization of reward and the adaptation of cost budgets during training. Our approach divides original constrained problem into two adversarial stages that are solved alternately, and the policy update performance of our algorithm can be theoretically guaranteed. We validate our method through experiments conducted on Safety Gymnasium and quadruped locomotion tasks. Results demonstrate that our algorithm achieves better performances compared to commonly used baselines.