Safety-Critical Human-Machine Shared Driving for Vehicle Collision Avoidance based on Hamilton-Jacobi reachability

📄 arXiv: 2502.10610v3 📥 PDF

作者: Shiyue Zhao, Junzhi Zhang, Rui Zhou, Neda Masoud, Jianxiong Li, Helai Huang, Shijie Zhao

分类: cs.RO, eess.SY

发布日期: 2025-02-14 (更新: 2025-08-31)

备注: 36 pages, 15 figures

💡 一句话要点

提出基于Hamilton-Jacobi可达性分析的强化学习框架，用于人机共驾车辆避撞

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人机共驾 车辆避撞 Hamilton-Jacobi可达性 强化学习 碰撞避免可达集 驾驶员模型 权限分配

📋 核心要点

  1. 现有车辆避撞方法依赖轨迹重规划和人机跟踪，易中断驾驶员意图并增加冲突风险。
  2. 提出基于Hamilton-Jacobi可达性分析的强化学习框架，仅在碰撞不可避免时进行干预。
  3. 实车测试表明，该方法能有效防止碰撞，同时保持驾驶任务性能，并具有良好的鲁棒性。

📝 摘要（中文）

道路安全是重要的全球性问题，车辆碰撞带来巨大的人员、社会和经济负担。本文旨在解决关键碰撞场景下的人机共驾避撞问题，通过仅在必要时进行干预来辅助驾驶员避免事故。现有方法依赖于重新规划无碰撞轨迹和强制人机跟踪，这通常会中断驾驶员的意图并增加冲突风险。本文提出了一种基于可达性分析的强化学习（RL）框架，该框架以Hamilton-Jacobi（HJ）可达性分析为指导。仅当车辆接近碰撞避免可达集（CARS）时才激活机器干预，该集合表示碰撞不可避免的状态。首先，我们使用离线数据通过求解Bellman方程来预先计算可达性分布和CARS。为了减少人机冲突，我们开发了一个针对突发障碍物的驾驶员模型，并提出了一种考虑关键避撞特征的权限分配策略。最后，我们训练了一个RL智能体，以减少人机冲突，同时强制执行避免进入CARS的硬约束。该方法已在真实车辆平台上进行了测试。结果表明，该控制器在CARS附近有效地进行干预以防止碰撞，同时保持了改进的原始驾驶任务性能。鲁棒性分析进一步支持了其在不同驾驶员属性上的灵活性。

🔬 方法详解

问题定义：论文旨在解决人机共驾场景下，如何设计一种安全有效的车辆避撞系统，在避免碰撞的同时，尽可能减少对驾驶员意图的干扰。现有方法如轨迹重规划和人机跟踪，容易造成人机冲突，影响驾驶体验，甚至可能引入新的安全风险。

核心思路：论文的核心思路是利用Hamilton-Jacobi (HJ) 可达性分析预先计算碰撞避免可达集 (CARS)，并以此为指导，训练一个强化学习 (RL) 智能体。该智能体仅在车辆即将进入 CARS，即碰撞不可避免时才进行干预，从而最大限度地尊重驾驶员的意图。

技术框架：整体框架包含以下几个主要模块：1) 离线HJ可达性分析：利用离线数据，通过求解Bellman方程，计算可达性分布和CARS。2) 驾驶员模型：建立针对突发障碍物的驾驶员模型，用于预测驾驶员的行为。3) 权限分配策略：根据关键避撞特征，动态分配人机控制权限，减少冲突。4) 强化学习智能体：训练RL智能体，使其在避免进入CARS的同时，尽可能完成驾驶任务。

关键创新：最重要的创新点在于将HJ可达性分析与强化学习相结合，利用HJ可达性分析提供安全约束，指导RL智能体的训练。与现有方法相比，该方法能够在保证安全性的前提下，最大限度地减少对驾驶员意图的干扰。

关键设计：关键设计包括：1) CARS的精确计算：通过求解Bellman方程，获得精确的CARS边界。2) 驾驶员模型的构建：考虑驾驶员对突发障碍物的反应，提高模型的准确性。3) 奖励函数的设计：奖励函数既要鼓励智能体完成驾驶任务，又要惩罚进入CARS的行为。4) 权限分配策略：根据车辆状态和驾驶员行为，动态调整人机控制权限。

📊 实验亮点

该方法在真实车辆平台上进行了测试，结果表明，该控制器在CARS附近有效地进行干预以防止碰撞，同时保持了改进的原始驾驶任务性能。鲁棒性分析进一步支持了其在不同驾驶员属性上的灵活性。相较于传统方法，该方法在保证安全性的同时，显著减少了人机冲突。

🎯 应用场景

该研究成果可应用于高级驾驶辅助系统（ADAS）和自动驾驶系统，尤其是在人机共驾模式下，能够有效提升车辆的安全性，减少交通事故的发生。此外，该方法还可以推广到其他机器人控制领域，例如无人机避障、机器人协作等，具有广泛的应用前景。

📄 摘要（原文）

Road safety continues to be a pressing global issue, with vehicle collisions imposing significant human, societal, and economic burdens. Human-machine shared collision avoidance in critical collision scenarios aims to aid drivers' accident avoidance through intervening only when necessary. Existing methods count on replanning collision-free trajectories and imposing human-machine tracking, which usually interrupts the driver's intent and increases the risk of conflict. This paper introduces a Reachability-Aware Reinforcement Learning (RL) framework for shared control, guided by Hamilton-Jacobi (HJ) reachability analysis. Machine intervention is activated only when the vehicle approaches the Collision Avoidance Reachable Set (CARS), which represents states where collision is unavoidable. First, we precompute the reachability distributions and the CARS by solving the Bellman equation using offline data. To reduce human-machine conflicts, we develop a driver model for sudden obstacles and propose an authority allocation strategy considering key collision avoidance features. Finally, we train a RL agent to reduce human-machine conflicts while enforcing the hard constraint of avoiding entry into the CARS. The proposed method was tested on a real vehicle platform. Results show that the controller intervenes effectively near CARS to prevent collisions while maintaining improved original driving task performance. Robustness analysis further supports its flexibility across different driver attributes.