Robust Safe Reinforcement Learning under Adversarial Disturbances
作者: Zeyang Li, Chuxiong Hu, Shengbo Eben Li, Jia Cheng, Yunan Wang
分类: cs.LG
发布日期: 2023-10-11
💡 一句话要点
提出鲁棒安全强化学习框架以应对外部干扰问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 安全强化学习 鲁棒控制 外部干扰 策略迭代 约束优化 哈密顿-雅可比分析 零和博弈
📋 核心要点
- 现有安全强化学习算法很少考虑外部干扰，导致其在实际应用中的鲁棒性不足。
- 本文提出了一种鲁棒安全强化学习框架，通过策略迭代解决鲁棒不变集问题，并将其应用于约束强化学习中。
- 实验结果显示，所提方法在经典控制任务中实现零约束违反，且在没有对手的情况下性能与基线相当。
📝 摘要（中文）
安全性是将强化学习应用于实际控制任务时的主要关注点，尤其是在外部干扰存在的情况下。然而，现有的安全强化学习算法很少考虑外部干扰，限制了其在实际中的适用性和鲁棒性。为了解决这一挑战，本文提出了一种鲁棒安全强化学习框架，专注于最坏情况的干扰。首先，本文提出了一种策略迭代方案，以求解鲁棒不变集，即安全集的一个子集，只有在该子集内的状态才能保持持续安全。核心思想是通过利用哈密顿-雅可比可达性分析中的安全值函数建立一个双人零和博弈，其中主角（控制输入）旨在维持安全，而对手（外部干扰）则试图破坏安全。本文证明了所提出的策略迭代算法单调收敛于最大鲁棒不变集。其次，本文将所提出的策略迭代方案集成到一个约束强化学习算法中，同时合成鲁棒不变集并用于约束策略优化。该算法同时解决了最优性和安全性的问题，即学习一个在最坏情况下保持安全的同时获得高奖励的策略。实验结果表明，所提出的方法在经典控制任务中实现了零约束违反，而其他基线算法则显著违反了安全约束。
🔬 方法详解
问题定义：本文旨在解决在外部干扰存在时，现有安全强化学习算法的鲁棒性不足的问题。现有方法未能有效应对最坏情况的干扰，限制了其在实际控制任务中的应用。
核心思路：论文的核心思路是通过建立一个双人零和博弈，利用安全值函数进行哈密顿-雅可比可达性分析，求解鲁棒不变集，从而确保在最坏情况下的安全性。
技术框架：整体架构包括两个主要模块：首先是策略迭代算法，用于求解鲁棒不变集；其次是将该集成入约束强化学习算法中，以实现安全与最优性的平衡。
关键创新：最重要的技术创新在于将鲁棒不变集的求解与约束强化学习相结合，形成一个新的框架，显著提升了在外部干扰下的安全性与鲁棒性。
关键设计：在算法设计中，关键参数包括安全值函数的构造和策略迭代的收敛性分析，确保算法在最坏情况下的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在经典控制任务中实现了零约束违反，而其他基线算法在相同条件下显著违反安全约束。此外，即使在没有对手的情况下，所提方法的性能也与基线相当，显示出其鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人控制和工业自动化等，能够在面对不确定性和外部干扰时，确保系统的安全性和稳定性。未来，该框架可能推动安全强化学习在更多实际场景中的应用，提升智能系统的可靠性。
📄 摘要（原文）
Safety is a primary concern when applying reinforcement learning to real-world control tasks, especially in the presence of external disturbances. However, existing safe reinforcement learning algorithms rarely account for external disturbances, limiting their applicability and robustness in practice. To address this challenge, this paper proposes a robust safe reinforcement learning framework that tackles worst-case disturbances. First, this paper presents a policy iteration scheme to solve for the robust invariant set, i.e., a subset of the safe set, where persistent safety is only possible for states within. The key idea is to establish a two-player zero-sum game by leveraging the safety value function in Hamilton-Jacobi reachability analysis, in which the protagonist (i.e., control inputs) aims to maintain safety and the adversary (i.e., external disturbances) tries to break down safety. This paper proves that the proposed policy iteration algorithm converges monotonically to the maximal robust invariant set. Second, this paper integrates the proposed policy iteration scheme into a constrained reinforcement learning algorithm that simultaneously synthesizes the robust invariant set and uses it for constrained policy optimization. This algorithm tackles both optimality and safety, i.e., learning a policy that attains high rewards while maintaining safety under worst-case disturbances. Experiments on classic control tasks show that the proposed method achieves zero constraint violation with learned worst-case adversarial disturbances, while other baseline algorithms violate the safety constraints substantially. Our proposed method also attains comparable performance as the baselines even in the absence of the adversary.