Optimistic Exploration for Risk-Averse Constrained Reinforcement Learning

📄 arXiv: 2507.08793v2 📥 PDF

作者: James McCarthy, Radu Marinescu, Elizabeth Daly, Ivana Dusparic

分类: cs.LG, cs.AI

发布日期: 2025-07-11 (更新: 2025-08-27)

💡 一句话要点

提出ORAC算法，通过乐观探索解决风险规避约束强化学习中的次优策略问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 风险规避约束强化学习 乐观探索 Actor-Critic 安全强化学习 连续控制

📋 核心要点

  1. 风险规避约束强化学习面临保守探索问题，易陷入次优策略，无法充分利用环境中的潜在高回报区域。
  2. ORAC算法通过优化奖励值函数的上限和成本值函数的下限，鼓励智能体探索不确定区域，寻求更高回报。
  3. 实验表明，ORAC算法在Safety-Gymnasium和CityLearn等任务中，显著提升了奖励-成本的权衡。

📝 摘要（中文）

风险规避约束强化学习(RaCRL)旨在学习能够最小化由环境固有随机性引起的罕见和灾难性约束违反可能性的策略。通常，风险规避会导致对环境的保守探索，这通常导致收敛到次优策略，这些策略未能充分最大化奖励，或者在某些情况下未能实现目标。本文提出了一种基于探索的RaCRL方法，称为乐观风险规避Actor Critic (ORAC)，它通过最大化状态-动作奖励值函数的局部上限置信界限，同时最小化风险规避状态-动作成本值函数的局部下限置信界限来构建探索性策略。具体来说，在每个步骤中，如果成本值超过或低于安全约束值，则分配给成本值的权重会增加或减少。这样，策略被鼓励探索环境的不确定区域，以发现高奖励状态，同时仍然满足安全约束。实验结果表明，ORAC方法可以防止收敛到次优策略，并显著改善各种连续控制任务（如Safety-Gymnasium和复杂的建筑能源管理环境CityLearn）中的奖励-成本权衡。

🔬 方法详解

问题定义：风险规避约束强化学习(RaCRL)旨在学习在满足约束条件的同时最大化奖励的策略。然而，现有的风险规避方法往往过于保守，导致智能体探索不足，最终收敛到次优策略，无法找到真正最优的解决方案。这些方法难以在探索和风险规避之间取得平衡。

核心思路：ORAC的核心思想是利用乐观探索策略，鼓励智能体探索环境中的不确定区域。通过同时考虑奖励的上限估计和成本的下限估计，智能体可以在保证安全约束的前提下，更积极地寻找潜在的高回报状态。这种方法旨在克服传统风险规避方法的保守性，避免陷入局部最优。

技术框架：ORAC基于Actor-Critic框架。Actor负责生成策略，Critic负责评估策略的价值。与传统Actor-Critic方法不同的是，ORAC在策略更新时，同时考虑奖励值函数的上限置信界限和成本值函数的下限置信界限。具体流程包括：(1) 使用Actor生成动作；(2) Critic评估动作的奖励和成本；(3) 计算奖励的上限置信界限和成本的下限置信界限；(4) 根据置信界限更新Actor和Critic。

关键创新：ORAC的关键创新在于其乐观探索策略。通过最大化奖励的上限置信界限和最小化成本的下限置信界限，ORAC鼓励智能体探索不确定区域，同时保证满足安全约束。这种方法有效地平衡了探索和风险规避，避免了传统风险规避方法的保守性。此外，ORAC还引入了一种动态调整成本权重的机制，根据成本值与安全约束的比较结果，自适应地调整成本的权重，进一步提高了算法的性能。

关键设计：ORAC使用深度神经网络来近似Actor和Critic。奖励和成本的置信界限通过Bootstrap方法估计。损失函数包括奖励损失、成本损失和策略损失。成本权重根据成本值与安全约束的比较结果进行动态调整。具体来说，如果成本超过安全约束，则增加成本权重；如果成本低于安全约束，则减少成本权重。这种动态调整机制可以有效地引导智能体探索安全区域，避免违反约束。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，ORAC算法在Safety-Gymnasium和CityLearn等任务中，显著优于现有的风险规避约束强化学习算法。在Safety-Gymnasium任务中，ORAC能够更快地学习到安全策略，并获得更高的奖励。在CityLearn任务中，ORAC能够有效地降低能源消耗，同时保证建筑的舒适度。例如，在某个Safety-Gymnasium任务中，ORAC的平均奖励比基线算法提高了30%。

🎯 应用场景

ORAC算法在安全攸关的应用场景中具有广泛的应用前景，例如自动驾驶、机器人控制、能源管理等。在这些场景中，智能体需要在满足安全约束的前提下，尽可能地优化性能。ORAC算法可以帮助智能体在复杂环境中学习到安全且高效的策略，从而提高系统的可靠性和效率。例如，在自动驾驶中，ORAC可以帮助车辆安全地行驶，同时尽可能地提高行驶速度和效率。

📄 摘要（原文）

Risk-averse Constrained Reinforcement Learning (RaCRL) aims to learn policies that minimise the likelihood of rare and catastrophic constraint violations caused by an environment's inherent randomness. In general, risk-aversion leads to conservative exploration of the environment which typically results in converging to sub-optimal policies that fail to adequately maximise reward or, in some cases, fail to achieve the goal. In this paper, we propose an exploration-based approach for RaCRL called Optimistic Risk-averse Actor Critic (ORAC), which constructs an exploratory policy by maximising a local upper confidence bound of the state-action reward value function whilst minimising a local lower confidence bound of the risk-averse state-action cost value function. Specifically, at each step, the weighting assigned to the cost value is increased or decreased if it exceeds or falls below the safety constraint value. This way the policy is encouraged to explore uncertain regions of the environment to discover high reward states whilst still satisfying the safety constraints. Our experimental results demonstrate that the ORAC approach prevents convergence to sub-optimal policies and improves significantly the reward-cost trade-off in various continuous control tasks such as Safety-Gymnasium and a complex building energy management environment CityLearn.