Safe Execution of RL Policies Via Acceleration-Based CBF-QP Constraint Enforcement for Real-World Robotic Deployments

📄 arXiv: 2607.14488v1 📥 PDF

作者: Bastien Muraccioli, Alice Cariou, Pierre-Alexandre Leziart, Mathieu Celerier, Arnaud Demont, Gentiane Venture, Mehdi Benallegue

分类: cs.RO

发布日期: 2026-07-16

备注: 8 pages, 4 figures. Accepted for publication at IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)

💡 一句话要点

提出加速基于CBF-QP的约束执行方法以确保RL策略安全性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 控制屏障函数 安全性 机器人控制 二次规划 约束优化 动态系统 自主机器人

📋 核心要点

  1. 现有的强化学习方法在实际部署中缺乏安全性保障，尤其是在腿式机器人和操控器接近安全边界时，可能导致失败。
  2. 本文提出的Acc-CBF-QP方法通过加速控制屏障函数，实时约束RL策略于安全集内，确保了安全性而不需修改训练过程。
  3. 在7自由度的Kinova Gen3操控器和19自由度的Unitree H1人形机器人上进行的实验显示，Acc-CBF-QP显著减少了约束违规，提升了任务执行的稳定性。

📝 摘要（中文）

强化学习（RL）在解决复杂机器人控制问题上表现出色，但缺乏安全保障限制了其在硬件上的应用。本文提出了一种加速基于控制屏障函数（CBF）的二次规划（QP）安全过滤器Acc-CBF-QP，能够在不修改训练的情况下，将RL策略约束在安全集内。该方法适用于无约束和安全RL策略，并在统一优化框架内强制执行关节位置、速度、扭矩和碰撞约束。实验表明，Acc-CBF-QP显著减少了约束违规情况，确保了RL目标的任务性能在无违规情况下得以保留。

🔬 方法详解

问题定义：本文旨在解决强化学习策略在实际机器人部署中缺乏安全保障的问题。现有方法在处理接近安全边界的状态时，容易导致系统失败，尤其是在腿式机器人和操控器的应用场景中。

核心思路：论文提出的Acc-CBF-QP方法利用加速控制屏障函数（CBF）作为安全过滤器，能够在运行时将RL策略约束在安全集内，而无需对训练过程进行修改。这种设计使得RL策略在执行时能够遵循安全约束，从而降低风险。

技术框架：该方法的整体架构包括RL策略生成模块和加速CBF-QP约束模块。RL策略生成模块负责生成控制指令，而CBF-QP模块则实时监控并调整这些指令，以确保在执行过程中不违反安全约束。

关键创新：论文的主要创新在于提出了RL+QP任务的框架，能够在约束即将被违反时，调节RL命令的偏差。通过引入扭矩任务和前向动力学任务，提供了对安全与性能权衡的原则性控制。

关键设计：在设计中，扭矩任务旨在最小化扭矩偏差，而前向动力学任务则关注于最小化加速度偏差。这些设计使得系统在执行过程中能够有效地管理安全约束，同时保持任务性能。具体的参数设置和损失函数设计在实验中经过优化，以确保最佳的执行效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在真实的Unitree H1硬件上，单独使用安全RL策略的违规率为10.04次/秒，而使用Acc-CBF-QP后减少了92%，降至0.80次/秒。在Kinova Gen3上，Acc-CBF-QP完全消除了违规情况。此外，在H1上进行激进速度命令时，Acc-CBF-QP有效防止了因约束引起的系统关闭，延长了生存时间。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、工业自动化和服务机器人等。通过确保RL策略的安全性，Acc-CBF-QP可以在复杂和动态环境中实现更可靠的机器人操作，降低事故风险，提升机器人在实际应用中的可用性和安全性。未来，该方法有望在更多安全关键的机器人应用中得到推广。

📄 摘要（原文）

Reinforcement Learning (RL) has demonstrated remarkable capabilities for solving complex robotic control problems, but its lack of safety guarantees severely limits deployment on hardware. In particular, as legged robots and manipulators often operate near safety-critical boundaries, out-of-distribution states can lead to failure upon deployment. To address this, we introduce Acc-CBF-QP, an acceleration-based Quadratic Program (QP) safety filter using Control Barrier Functions (CBFs) that constrains any RL policy onto a safe set at runtime without modifying training. The method applies to unconstrained and Safe-RL policies, and enforces joint position, velocity, torque, and collision constraints within a unified optimization framework. A key contribution is the formulation of RL+QP tasks that regulate deviation from the RL command when constraints would otherwise be violated. We introduce a TorqueTask, minimizing torque deviation, and a Forward Dynamics Task, minimizing induced acceleration deviation, thus providing principled control over safety-performance trade-offs. Experiments on a 7-DoF Kinova Gen3 manipulator and a 19-DoF Unitree H1 humanoid, both in simulation and on hardware, highlight substantial reductions in constraint violations. On the real H1 hardware, a Safe-RL policy alone yielded 10.04 violations/s, which were reduced by 92% to 0.80 violations/s when augmented with Acc-CBF-QP. On the Kinova Gen3, Acc-CBF-QP fully eliminated violations. Nominal task performance of the RL objective is preserved in violation-free regimes. Under aggressive velocity commands on H1, Acc-CBF-QP improves execution by preventing constraint-induced shutdowns, yielding longer survival times. The full pipeline is open-source.