Guaranteed Reach-Avoid for Black-Box Systems through Narrow Gaps via Neural Network Reachability

📄 arXiv: 2409.13195v2 📥 PDF

作者: Long Kiu Chung, Wonsuhk Jung, Srivatsank Pullabhotla, Parth Shinde, Yadu Sunil, Saihari Kota, Luis Felipe Wolf Batista, Cédric Pradalier, Shreyas Kousik

分类: cs.RO, eess.SY

发布日期: 2024-09-20 (更新: 2025-03-03)

备注: This work has been submitted for possible publication

💡 一句话要点

提出NeuralPARC，通过神经网络可达性分析解决黑盒系统狭窄间隙中的Reach-Avoid问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: Reach-Avoid问题 黑盒系统 神经网络可达性分析 ReLU神经网络 安全保障

📋 核心要点

  1. 传统reach-avoid方法难以保证黑盒系统在狭窄间隙中的性能，因为系统动力学未知且交互成本低。
  2. NeuralPARC利用ReLU神经网络建模系统轨迹，并计算考虑建模误差的可达集，从而保证reach-avoid任务的安全性。
  3. 实验证明NeuralPARC在车辆漂移停车和自主水面艇控制等任务中优于传统方法，并能保证安全性。

📝 摘要（中文）

本文提出了一种名为NeuralPARC的方法，用于解决黑盒系统在狭窄间隙中执行reach-avoid任务时难以保证性能的问题。该方法扩展了作者之前的分段仿射Reach-avoid计算（PARC）方法，将其应用于由ReLU神经网络建模的系统。这些神经网络通过训练来表示机器人演示的参数化轨迹数据。NeuralPARC在考虑建模误差的情况下计算网络的可达集，并返回一组状态和参数，保证黑盒系统能够到达目标并避开障碍物。实验表明，NeuralPARC优于PARC，在模拟和真实模型车上生成了可证明安全的极限车辆漂移停车操作，并在受大型扰动且由深度强化学习（RL）策略控制的自主水面艇（ASV）上实现了安全性。

🔬 方法详解

问题定义：论文旨在解决黑盒系统在复杂环境（特别是存在狭窄间隙）下的reach-avoid问题。现有的reach-avoid方法，如PARC，在处理非线性、黑盒系统时面临挑战，难以提供可靠的安全保证。此外，当系统动力学未知或难以建模时，传统方法无法直接应用。

核心思路：NeuralPARC的核心思路是利用神经网络学习黑盒系统的动态特性，然后通过可达性分析来验证系统的安全性。具体来说，使用ReLU神经网络来近似系统的轨迹，并计算该网络的可达集。通过考虑建模误差，确保即使在最坏情况下，系统也能安全地到达目标并避开障碍物。

技术框架：NeuralPARC的整体框架包括以下几个主要步骤：1) 数据收集：通过与黑盒系统交互，收集参数化的轨迹数据。2) 神经网络训练：使用收集到的数据训练ReLU神经网络，使其能够准确地预测系统的轨迹。3) 可达集计算：计算训练好的神经网络的可达集，同时考虑建模误差。4) 安全验证：验证计算出的可达集是否满足reach-avoid任务的要求，即是否能够到达目标区域并避开障碍物。5) 参数优化：如果安全验证失败，则调整参数并重复上述步骤，直到找到满足要求的参数配置。

关键创新：NeuralPARC的关键创新在于将神经网络的可达性分析与传统的reach-avoid方法相结合，从而能够处理黑盒系统。与直接对黑盒系统进行可达性分析相比，NeuralPARC通过神经网络学习系统的动态特性，降低了计算复杂度。此外，NeuralPARC考虑了建模误差，从而能够提供更可靠的安全保证。

关键设计：NeuralPARC使用ReLU神经网络作为函数逼近器，因为ReLU网络具有良好的可达性分析性质。损失函数的设计需要平衡轨迹预测的准确性和可达集计算的复杂度。此外，建模误差的估计也是一个关键的设计环节，需要仔细选择合适的误差界限，以保证安全性的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NeuralPARC在模拟和真实模型车上进行了实验，结果表明其优于传统的PARC方法。在车辆漂移停车任务中，NeuralPARC能够生成可证明安全的轨迹，而PARC方法则无法保证安全性。此外，NeuralPARC还在自主水面艇（ASV）上进行了实验，结果表明其能够有效地应对大型扰动，并保证ASV的安全。

🎯 应用场景

NeuralPARC可应用于各种需要安全保障的自主系统，例如自动驾驶汽车、无人机、机器人等。特别是在复杂环境或系统动力学未知的情况下，NeuralPARC能够提供可靠的安全保证，从而提高系统的可靠性和安全性。该方法在机器人导航、运动规划、故障诊断等领域具有广泛的应用前景。

📄 摘要（原文）

In the classical reach-avoid problem, autonomous mobile robots are tasked to reach a goal while avoiding obstacles. However, it is difficult to provide guarantees on the robot's performance when the obstacles form a narrow gap and the robot is a black-box (i.e. the dynamics are not known analytically, but interacting with the system is cheap). To address this challenge, this paper presents NeuralPARC. The method extends the authors' prior Piecewise Affine Reach-avoid Computation (PARC) method to systems modeled by rectified linear unit (ReLU) neural networks, which are trained to represent parameterized trajectory data demonstrated by the robot. NeuralPARC computes the reachable set of the network while accounting for modeling error, and returns a set of states and parameters with which the black-box system is guaranteed to reach the goal and avoid obstacles. NeuralPARC is shown to outperform PARC, generating provably-safe extreme vehicle drift parking maneuvers in simulations and in real life on a model car, as well as enabling safety on an autonomous surface vehicle (ASV) subjected to large disturbances and controlled by a deep reinforcement learning (RL) policy.