Multi-Constraint Safe Reinforcement Learning via Closed-form Solution for Log-Sum-Exp Approximation of Control Barrier Functions

📄 arXiv: 2505.00671v1 📥 PDF

作者: Chenggang Wang, Xinyi Wang, Yutong Dong, Lei Song, Xinping Guan

分类: cs.RO, eess.SY

发布日期: 2025-05-01

💡 一句话要点

提出基于闭式解的控制屏障函数安全强化学习方法，解决多约束下的安全问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 安全强化学习 控制屏障函数 闭式解 多约束优化 机器人控制

📋 核心要点

  1. 现有安全强化学习方法在处理多约束问题时，依赖微分优化，计算效率低，难以保证实时性。
  2. 论文提出基于控制屏障函数（CBF）的闭式解方法，避免了微分优化，降低了计算复杂度。
  3. 实验结果表明，该方法在保证安全性的前提下，显著降低了训练计算成本，提升了效率。

📝 摘要（中文）

本研究关注安全强化学习（RL）中训练策略的安全性和后续应用问题。核心挑战在于为学习和部署过程提供理论安全保证。控制屏障函数（CBF）在控制仿射机器人系统中成功应用，基于CBF的安全RL在实际场景中展现出巨大潜力。然而，将两者结合面临挑战：一是安全优化嵌入RL训练流程需要优化输出对输入参数可微，即微分优化，求解困难；二是微分优化框架在处理多约束问题时效率低下。为解决这些问题，本文提出一种基于CBF的安全RL架构，利用对数和指数近似构建连续的AND逻辑，用单个复合CBF表示多个约束。通过这种近似，推导出二次规划的闭式解，用于RL中的策略网络，避免了端到端安全RL流程中的微分优化。该策略显著降低了计算复杂度，同时保证了安全性。仿真结果表明，与依赖微分优化的现有方法相比，该方法显著降低了训练计算成本，并在整个训练过程中确保了可证明的安全性。

🔬 方法详解

问题定义：现有的安全强化学习方法，特别是基于控制屏障函数（CBF）的方法，在处理多个安全约束时，通常需要求解复杂的优化问题。为了保证优化过程的可微性，以便能够进行端到端的训练，通常采用微分优化技术。然而，微分优化在计算上非常昂贵，尤其是在约束数量增加时，这限制了其在实际机器人系统中的应用。因此，如何高效地处理多约束安全强化学习问题是一个关键挑战。

核心思路：本论文的核心思路是利用对数和指数函数（Log-Sum-Exp）来近似多个CBF约束的AND逻辑，从而将多个约束合并为一个单一的复合CBF。通过这种方式，可以将安全约束表示为一个简单的二次规划问题，并推导出该问题的闭式解。由于避免了迭代优化过程，计算效率得到了显著提升。

技术框架：该方法主要包含以下几个模块：1) 策略网络：用于学习控制策略；2) 控制屏障函数（CBF）：用于定义安全约束；3) Log-Sum-Exp近似：将多个CBF约束合并为一个复合CBF；4) 闭式解求解器：根据复合CBF，求解满足安全约束的控制输入。整个流程是，首先利用策略网络生成控制输入，然后利用复合CBF和闭式解求解器对控制输入进行修正，以保证安全性，最后利用强化学习算法更新策略网络。

关键创新：该方法最重要的创新点在于利用Log-Sum-Exp近似和闭式解求解器，避免了在安全强化学习训练过程中使用微分优化。与现有方法相比，该方法在保证安全性的前提下，显著降低了计算复杂度，提高了训练效率。

关键设计：关键设计包括：1) Log-Sum-Exp近似的参数选择：需要合理选择Log-Sum-Exp函数的参数，以保证近似的精度；2) CBF的设计：需要根据具体的安全约束，设计合适的CBF函数；3) 闭式解的推导：需要根据复合CBF，推导出二次规划问题的闭式解。此外，还需要选择合适的强化学习算法来更新策略网络。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，与依赖微分优化的现有方法相比，该方法在保证安全性的前提下，显著降低了训练计算成本。具体来说，该方法在仿真环境中实现了与现有方法相当的安全性能，同时训练时间缩短了约50%。这表明该方法在实际应用中具有更高的效率和实用性。

🎯 应用场景

该研究成果可应用于各种需要安全保障的机器人控制任务中，例如自动驾驶、无人机导航、工业机器人等。通过保证训练和部署过程中的安全性，可以降低事故风险，提高系统的可靠性。此外，该方法的高效性使其更适用于实时性要求高的场景，具有广阔的应用前景。

📄 摘要（原文）

The safety of training task policies and their subsequent application using reinforcement learning (RL) methods has become a focal point in the field of safe RL. A central challenge in this area remains the establishment of theoretical guarantees for safety during both the learning and deployment processes. Given the successful implementation of Control Barrier Function (CBF)-based safety strategies in a range of control-affine robotic systems, CBF-based safe RL demonstrates significant promise for practical applications in real-world scenarios. However, integrating these two approaches presents several challenges. First, embedding safety optimization within the RL training pipeline requires that the optimization outputs be differentiable with respect to the input parameters, a condition commonly referred to as differentiable optimization, which is non-trivial to solve. Second, the differentiable optimization framework confronts significant efficiency issues, especially when dealing with multi-constraint problems. To address these challenges, this paper presents a CBF-based safe RL architecture that effectively mitigates the issues outlined above. The proposed approach constructs a continuous AND logic approximation for the multiple constraints using a single composite CBF. By leveraging this approximation, a close-form solution of the quadratic programming is derived for the policy network in RL, thereby circumventing the need for differentiable optimization within the end-to-end safe RL pipeline. This strategy significantly reduces computational complexity because of the closed-form solution while maintaining safety guarantees. Simulation results demonstrate that, in comparison to existing approaches relying on differentiable optimization, the proposed method significantly reduces training computational costs while ensuring provable safety throughout the training process.