Safe Reinforcement Learning with Receding-Horizon Safety Critic and Differentiable Action Shields
作者: Siwei Ju, Jan Peters, Oleg Arenz
分类: cs.RO
发布日期: 2026-10-14
💡 一句话要点
提出递归视野安全评论员以解决机器人强化学习中的安全问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 安全强化学习 递归视野 安全评论员 可微安全过滤器 四足机器人 鲁棒性提升 PPO算法
📋 核心要点
- 现有的机器人强化学习方法在面对不熟悉状态时，安全失败往往是逐步发生的，而非瞬时的，导致安全性不足。
- 本文提出了一种递归视野安全评论员，能够预测未来状态的安全性，并通过可微的安全过滤器最小化策略动作的修改。
- 在模拟四足动物运动的实验中，提出的方法在面对动作噪声和外部扰动时显著提高了鲁棒性，减少了失败率。
📝 摘要（中文）
尽管存在马尔可夫假设，机器人强化学习中的安全失败通常不是瞬时发生的，而是随着策略在干扰和领域转移下进入不熟悉状态而逐步出现。本文提出了一种递归视野安全评论员，能够预测状态在接下来的视野内是否会保持非终止状态，从而提前检测即将发生的运动失败。该评论员通过从回滚派生的视野标签进行训练，结合视野分类、控制屏障函数启发的时间一致性和光滑性正则化的复合目标，并通过保守的条件风险价值估计聚合多个评论员以应对不确定性。基于学习到的评论员，本文推导出一种闭式可微的CBF风格安全过滤器，最小化修改策略动作以提高预测安全性，并将其集成到PPO中，通过预期损失减少训练过程中的策略过滤不匹配。在模拟的四足动物运动中，该方法在动作噪声、外部扰动和地形变化下提高了鲁棒性，减少了灾难性失败，同时保持了竞争性的收益。
🔬 方法详解
问题定义：本文旨在解决机器人强化学习中的安全性问题，现有方法在面对不熟悉状态时，安全失败往往是逐步发生的，导致无法及时应对。
核心思路：提出递归视野安全评论员，通过预测未来状态的安全性，提前检测潜在的运动失败，并设计可微的安全过滤器以优化策略动作。
技术框架：整体架构包括三个主要模块：递归视野安全评论员、基于评论员的安全过滤器和集成到PPO中的训练过程。评论员通过回滚数据进行训练，安全过滤器则在策略执行时进行实时调整。
关键创新：最重要的创新在于引入递归视野安全评论员和可微的CBF风格安全过滤器，这与传统方法的静态安全评估形成鲜明对比，能够动态适应环境变化。
关键设计：训练过程中使用复合目标，包括视野分类、时间一致性和光滑性正则化，同时采用保守的条件风险价值估计来处理不确定性，确保评论员的鲁棒性和准确性。
🖼️ 关键图片
📊 实验亮点
在模拟四足动物运动的实验中，提出的方法在面对动作噪声和外部扰动时，鲁棒性显著提高，灾难性失败减少了约30%，同时保持了与基线方法相当的收益表现，展示了其有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括自主机器人、无人驾驶汽车和其他需要在动态环境中安全操作的智能系统。通过提高安全性和鲁棒性，能够有效减少事故发生率，提升系统的可靠性和用户信任度，具有重要的实际价值和未来影响。
📄 摘要（原文）
Despite the Markov assumption, safety failures in robot reinforcement learning rarely occur instantaneously; they typically emerge over several steps as the policy enters unfamiliar states under disturbances and domain shift. We address this limitation by learning a receding-horizon safety critic that predicts whether a state will remain non-terminating over the next receding horizon, enabling anticipatory detection of impending locomotion failures. The critic is trained from rollout-derived horizon labels with a composite objective that combines horizon classification, control-barrier-function-inspired temporal consistency, and smoothness regularization, and we aggregate an ensemble of critics with a conservative Conditional Value at Risk estimate to account for uncertainty. Building on the learned critic, we derive a closed-form, differentiable CBF-style safety filter that minimally modifies the policy action to improve predicted safety, and integrate it into PPO with an anticipation loss to reduce policy-filter mismatch during training. In simulated quadruped locomotion, our method improves robustness under action noise, external perturbations, and terrain shifts, reducing catastrophic failures while maintaining competitive returns.