Learning Conservative Neural Control Barrier Functions from Offline Data

📄 arXiv: 2505.00908v2 📥 PDF

作者: Ihab Tabbara, Hussein Sibai

分类: cs.LG, cs.FL, cs.RO, eess.SY

发布日期: 2025-05-01 (更新: 2025-09-18)

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于离线数据的保守神经控制障碍函数学习方法，提升动态系统安全控制。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 控制障碍函数 安全控制 离线强化学习 保守Q学习 神经控制

📋 核心要点

  1. 现有基于控制障碍函数的安全滤波器设计面临维度灾难问题，限制了其在高维复杂系统中的应用。
  2. 该论文提出一种基于离线数据的保守神经控制障碍函数（CCBF）学习方法，旨在提升安全性和泛化能力。
  3. 实验结果表明，CCBF在保证安全性的同时，能够最小化对任务性能的影响，优于现有方法。

📝 摘要（中文）

安全滤波器，特别是基于控制障碍函数（CBF）的滤波器，作为动态系统安全控制的有效工具，受到了越来越多的关注。现有的此类滤波器的正确构造综合算法存在维度灾难问题。近年来，深度学习方法被提出以应对这一挑战。本文提出了一种从离线数据集训练神经控制障碍函数的算法，为该领域做出贡献。这些函数可用于设计二次规划的约束，然后用作安全滤波器。该算法训练这些函数，不仅防止系统到达不安全状态，而且阻止系统到达可能不太可靠的分布外状态。它受到保守Q学习（Conservative Q-learning）的启发，一种离线强化学习算法。我们称其输出为保守控制障碍函数（CCBF）。实验结果表明，CCBF在保持安全性的同时，对任务性能的影响最小，优于现有方法。源代码可在https://github.com/tabz23/CCBF获取。

🔬 方法详解

问题定义：论文旨在解决动态系统安全控制问题，具体而言，是设计能够保证系统安全运行的安全滤波器。现有基于控制障碍函数（CBF）的安全滤波器设计方法，特别是correct-by-construction方法，在高维复杂系统中面临维度灾难问题，难以应用。此外，直接使用神经网络学习CBF时，在训练数据分布之外的状态可能出现不可靠的行为，导致安全风险。

核心思路：论文的核心思路是借鉴离线强化学习中的保守Q学习（Conservative Q-learning）思想，训练神经控制障碍函数（NCBF）。通过在训练过程中引入保守性约束，使得学习到的CBF不仅能够防止系统进入不安全状态，还能避免系统进入训练数据分布之外的状态，从而提高CBF的泛化能力和安全性。

技术框架：整体框架包括离线数据集的收集、CCBF的训练以及安全滤波器的设计。首先，收集包含系统状态和控制输入的离线数据集。然后，使用改进的损失函数训练CCBF，该损失函数包含一个标准CBF损失项和一个保守性损失项。最后，将学习到的CCBF作为约束条件，设计二次规划问题，用于生成安全控制输入，从而实现安全滤波器。

关键创新：论文的关键创新在于将保守Q学习的思想引入到神经控制障碍函数的学习中，提出了一种新的训练算法，即CCBF。与传统的NCBF学习方法相比，CCBF能够更好地处理离线数据，并提高在未见状态下的安全性。此外，CCBF通过保守性约束，显式地考虑了数据分布的限制，从而提高了泛化能力。

关键设计：CCBF的训练过程中，损失函数的设计至关重要。除了标准的CBF损失项，论文引入了一个保守性损失项，用于惩罚CCBF在训练数据分布之外的过度乐观估计。具体而言，保守性损失项鼓励CCBF在未见状态下输出更保守（更小）的值，从而降低系统进入不安全状态的风险。此外，论文还可能涉及到神经网络结构的选择、优化算法的选择以及超参数的调整等技术细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CCBF在保持安全性的同时，对任务性能的影响最小，优于现有方法。具体而言，CCBF能够有效地防止系统进入不安全状态，并且在未见状态下表现出更好的泛化能力。与传统的NCBF学习方法相比，CCBF能够显著提高系统的安全性，同时保持良好的任务性能。

🎯 应用场景

该研究成果可应用于各种需要安全控制的动态系统，例如自动驾驶汽车、机器人、无人机等。通过学习保守的控制障碍函数，可以有效地防止系统进入危险状态，提高系统的安全性和可靠性。此外，该方法基于离线数据学习，无需在线交互，降低了部署成本和风险，具有广泛的应用前景。

📄 摘要（原文）

Safety filters, particularly those based on control barrier functions, have gained increased interest as effective tools for safe control of dynamical systems. Existing correct-by-construction synthesis algorithms for such filters, however, suffer from the curse-of-dimensionality. Deep learning approaches have been proposed in recent years to address this challenge. In this paper, we add to this set of approaches an algorithm for training neural control barrier functions from offline datasets. Such functions can be used to design constraints for quadratic programs that are then used as safety filters. Our algorithm trains these functions so that the system is not only prevented from reaching unsafe states but is also disincentivized from reaching out-of-distribution ones, at which they would be less reliable. It is inspired by Conservative Q-learning, an offline reinforcement learning algorithm. We call its outputs Conservative Control Barrier Functions (CCBFs). Our empirical results demonstrate that CCBFs outperform existing methods in maintaining safety while minimally affecting task performance. Source code is available at https://github.com/tabz23/CCBF.