Do No Harm: A Counterfactual Approach to Safe Reinforcement Learning

📄 arXiv: 2405.11669v1 📥 PDF

作者: Sean Vaskov, Wilko Schwarting, Chris L. Baker

分类: cs.LG, cs.AI

发布日期: 2024-05-19

💡 一句话要点

提出基于反事实推理的安全强化学习方法，解决约束优化中惩罚力度难以确定的问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 安全强化学习 反事实推理 约束优化 强化学习 机器人控制

📋 核心要点

  1. 传统约束强化学习在处理不可避免的约束违反时，难以确定合适的惩罚力度，影响学习效果。
  2. 论文提出基于反事实推理的安全强化学习方法，仅对策略导致的反事实危害进行惩罚，避免不必要的惩罚。
  3. 实验表明，该方法在不确定摩擦的漫游车和拖拉机-拖车停车环境中，能学习到比现有方法更安全的策略。

📝 摘要（中文）

强化学习（RL）因其能够学习考虑不确定性和环境复杂表征的丰富反馈策略，在控制领域变得越来越受欢迎。在考虑安全约束时，通常使用约束优化方法，即对违反约束的智能体进行惩罚。然而，如果智能体在初始化时，或者必须访问可能不可避免地违反约束的状态，那么应该对其进行多少惩罚是不明确的。我们通过对学习策略相对于默认安全策略的反事实危害施加约束来解决这一挑战。从哲学意义上讲，这种公式只惩罚学习者造成的约束违反；从实际意义上讲，它保持了最优控制问题的可行性。我们在具有不确定道路摩擦的漫游车和拖拉机-拖车停车环境中的仿真研究表明，与当代约束强化学习方法相比，我们的约束公式能够使智能体学习更安全的策略。

🔬 方法详解

问题定义：现有的约束强化学习方法在处理安全约束时，通常采用惩罚机制。然而，当智能体处于不可避免会违反约束的状态时，如何确定合适的惩罚力度成为一个难题。过度惩罚可能导致学习停滞，而惩罚不足则无法保证安全性。因此，需要一种能够区分智能体自身行为导致的约束违反和环境固有风险的方法。

核心思路：论文的核心思想是引入反事实推理，只惩罚智能体由于其策略选择而造成的额外危害。具体来说，就是将学习到的策略与一个默认的安全策略进行比较，计算学习策略造成的危害相对于安全策略的增量。这种方法避免了对智能体无法避免的约束违反进行惩罚，从而更准确地评估策略的安全性。

技术框架：该方法的核心在于定义一个反事实约束，该约束限制了学习策略相对于安全策略的预期累积成本。整体流程包括：1）定义一个默认的安全策略；2）使用强化学习算法学习一个策略；3）计算学习策略和安全策略的反事实成本差异；4）将反事实成本差异作为约束添加到强化学习的目标函数中。通过求解带有反事实约束的优化问题，可以学习到既能完成任务又能保证安全性的策略。

关键创新：最重要的创新点在于将反事实推理引入到安全强化学习中，从而能够区分智能体自身行为导致的危害和环境固有的风险。与传统的惩罚机制相比，反事实约束能够更准确地评估策略的安全性，避免了对智能体无法避免的约束违反进行惩罚。这种方法能够提高学习效率，并保证学习到的策略更加安全。

关键设计：关键设计包括：1）选择合适的安全策略，安全策略的选择会影响反事实成本的计算；2）定义合适的成本函数，成本函数应该能够准确地反映约束违反的程度；3）选择合适的强化学习算法，例如，可以使用TRPO或PPO等算法来学习策略；4）调整反事实约束的权重，以平衡任务完成和安全性之间的关系。

📊 实验亮点

论文在具有不确定道路摩擦的漫游车和拖拉机-拖车停车环境中进行了仿真实验。实验结果表明，与传统的约束强化学习方法相比，该方法能够学习到更安全的策略。具体来说，该方法能够显著降低约束违反的次数和程度，同时保持良好的任务完成性能。实验结果验证了该方法在提高安全性和学习效率方面的有效性。

🎯 应用场景

该研究成果可应用于各种需要安全保障的强化学习任务中，例如自动驾驶、机器人导航、医疗决策等。通过避免对不可避免的约束违反进行惩罚，该方法可以提高学习效率，并保证学习到的策略更加安全可靠。未来，该方法可以进一步扩展到更复杂的环境和任务中，例如多智能体系统和部分可观测环境。

📄 摘要（原文）

Reinforcement Learning (RL) for control has become increasingly popular due to its ability to learn rich feedback policies that take into account uncertainty and complex representations of the environment. When considering safety constraints, constrained optimization approaches, where agents are penalized for constraint violations, are commonly used. In such methods, if agents are initialized in, or must visit, states where constraint violation might be inevitable, it is unclear how much they should be penalized. We address this challenge by formulating a constraint on the counterfactual harm of the learned policy compared to a default, safe policy. In a philosophical sense this formulation only penalizes the learner for constraint violations that it caused; in a practical sense it maintains feasibility of the optimal control problem. We present simulation studies on a rover with uncertain road friction and a tractor-trailer parking environment that demonstrate our constraint formulation enables agents to learn safer policies than contemporary constrained RL methods.