Hamilton-Jacobi Reachability in Reinforcement Learning: A Survey
作者: Milan Ganai, Sicun Gao, Sylvia Herbert
分类: eess.SY, cs.LG, cs.RO
发布日期: 2024-07-12 (更新: 2024-08-21)
备注: Accepted in IEEE Open Journal of Control Systems (OJ-CSYS)
💡 一句话要点
综述：强化学习中基于Hamilton-Jacobi可达性的安全控制策略学习
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 Hamilton-Jacobi可达性 安全控制 高维系统 可达集估计
📋 核心要点
- 传统HJ可达性分析计算复杂度高，难以应用于高维系统，限制了其在复杂控制问题中的应用。
- 该综述聚焦于结合强化学习与HJ可达性分析的方法，通过近似计算可达性值函数，实现高维系统的安全控制策略学习。
- 这些方法已被用于解决具有挑战性的任务，例如动态障碍物规避和基于视觉或激光雷达的控制，提升了安全性和性能。
📝 摘要（中文）
近年来，研究者们提出了在保证安全性的前提下学习高性能控制策略的方法。合成Hamilton-Jacobi (HJ)可达集已成为验证安全性和监督基于强化学习的复杂、高维系统控制策略训练的有效工具。 过去，HJ可达性主要局限于验证低维动力系统，因为其依赖的动态规划方法的计算复杂度随系统状态数量呈指数增长。 近年来，大量提出的方法通过在学习控制策略的同时计算可达性值函数来解决这一限制，从而扩展了HJ可达性分析，同时保持对真实可达集的可靠估计。 这些HJ可达性近似被用于提高学习控制策略的安全性，甚至奖励性能，并且可以解决具有动态障碍物和/或基于激光雷达或视觉的观测等具有挑战性的任务。 在这篇综述论文中，我们回顾了强化学习中HJ可达性估计领域的最新进展，这将为进一步研究高维系统的可靠性提供基础。
🔬 方法详解
问题定义：论文旨在解决高维系统中安全强化学习控制策略的训练问题。传统的Hamilton-Jacobi (HJ)可达性分析方法虽然能够提供严格的安全保证，但其计算复杂度随着系统状态维度的增加呈指数级增长，难以应用于实际复杂系统。因此，如何在高维状态空间中有效地估计可达集，并将其用于指导强化学习策略的训练，是本文所关注的核心问题。
核心思路：论文的核心思路是将强化学习与HJ可达性分析相结合，通过强化学习来近似计算HJ可达性值函数，从而避免了传统动态规划方法带来的维度灾难。这种方法能够在学习控制策略的同时，估计系统的可达集，并利用可达集信息来约束策略的学习过程，保证策略的安全性。
技术框架：该综述回顾了多种将强化学习与HJ可达性分析相结合的技术框架。这些框架通常包含以下几个主要模块：1) 强化学习策略学习模块，负责学习控制策略；2) HJ可达性估计模块，负责近似计算可达性值函数；3) 安全约束模块，负责利用可达性信息来约束策略的学习过程，保证策略的安全性。不同的框架在具体实现上可能有所差异，例如使用不同的强化学习算法、不同的可达性估计方法以及不同的安全约束方式。
关键创新：该领域最重要的技术创新在于将强化学习与HJ可达性分析相结合，从而克服了传统HJ可达性分析方法在高维系统中的计算瓶颈。与传统的基于动态规划的HJ可达性分析方法相比，基于强化学习的方法能够有效地处理高维状态空间，并能够在学习控制策略的同时估计可达集。
关键设计：不同的方法在关键设计上有所不同。一些方法使用深度神经网络来近似表示可达性值函数，并使用强化学习算法来训练网络。另一些方法则使用采样方法来估计可达集，并使用这些样本来约束策略的学习过程。此外，损失函数的设计也是一个关键因素，需要平衡策略的性能和安全性。
🖼️ 关键图片
📊 实验亮点
该综述总结了近年来在强化学习中利用HJ可达性估计进行安全控制策略学习的最新进展。这些方法在多种复杂任务中取得了显著成果，例如在动态障碍物环境中实现了安全导航，并在基于视觉或激光雷达的控制任务中提高了性能。通过与传统强化学习方法相比，这些方法能够显著提高策略的安全性，并能够在某些情况下提高策略的性能。
🎯 应用场景
该研究成果可广泛应用于需要安全保障的控制系统中，例如自动驾驶、机器人导航、航空航天等领域。通过结合强化学习与HJ可达性分析，可以训练出能够在复杂环境中安全可靠地运行的控制策略，降低事故发生的风险，提高系统的整体性能。未来，该技术有望在更多领域得到应用，例如医疗机器人、智能制造等。
📄 摘要（原文）
Recent literature has proposed approaches that learn control policies with high performance while maintaining safety guarantees. Synthesizing Hamilton-Jacobi (HJ) reachable sets has become an effective tool for verifying safety and supervising the training of reinforcement learning-based control policies for complex, high-dimensional systems. Previously, HJ reachability was restricted to verifying low-dimensional dynamical systems primarily because the computational complexity of the dynamic programming approach it relied on grows exponentially with the number of system states. In recent years, a litany of proposed methods addresses this limitation by computing the reachability value function simultaneously with learning control policies to scale HJ reachability analysis while still maintaining a reliable estimate of the true reachable set. These HJ reachability approximations are used to improve the safety, and even reward performance, of learned control policies and can solve challenging tasks such as those with dynamic obstacles and/or with lidar-based or vision-based observations. In this survey paper, we review the recent developments in the field of HJ reachability estimation in reinforcement learning that would provide a foundational basis for further research into reliability in high-dimensional systems.