SAFTER: Safety-Aware Filtering Through Explicit Recoverability for Robust Reinforcement Learning under Distribution Shift

📄 arXiv: 2610.29149v1 📥 PDF

作者: Benedictus C. G. Cinun, Bin Hu

分类: eess.SY, cs.LG

发布日期: 2026-10-21

备注: 24 pages, 6 figures

💡 一句话要点

提出SAFTER以解决强化学习中的安全性与可恢复性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 安全强化学习 可恢复性 控制屏障函数 软演员-评论家 四足动物导航 样本效率 鲁棒性

📋 核心要点

  1. 现有方法在处理有限执行能力下的安全决策时，未能有效考虑未来的可恢复性，导致潜在的安全风险。
  2. SAFTER通过将可微分的备份CBF过滤器集成到SAC训练中，提供了一种新的安全过滤机制，确保策略在执行过程中的安全性和可恢复性。
  3. 实验结果表明，SAFTER在四足动物导航任务中显著提高了训练成功率，并在未见环境中表现出更强的鲁棒性和样本效率。

📝 摘要（中文）

在有限执行能力下，学习能够推广到未见环境的安全策略是一个挑战，传统的控制屏障函数（CBF）仅关注瞬时安全，忽视未来的可恢复性。本文提出SAFTER（通过显式可恢复性进行安全过滤），将可微分的闭式备份CBF过滤器嵌入到软演员-评论家（SAC）训练中。SAFTER将当前安全性、有限时间备份安全性、终端可恢复性和输入可接受性统一为一个可微分的证书。在四足动物导航中，SAFTER以30.6%的过渡次数实现了90%的训练成功率，且在未见的模拟环境中，相比于现有的CBF-RL和SEA-Nav方法，成功率分别提高了42.4和61.4个百分点。

🔬 方法详解

问题定义：本文旨在解决在有限执行能力下，强化学习中安全策略的学习问题，现有方法未能有效考虑未来的可恢复性，导致策略在面对环境变化时可能变得不安全或不可恢复。

核心思路：SAFTER通过将一个可微分的闭式备份CBF过滤器嵌入到SAC训练中，统一了安全性、备份安全性和可恢复性，确保策略在执行过程中的安全性和有效性。

技术框架：SAFTER的整体架构包括一个集成的CBF过滤器，该过滤器在训练过程中实时评估策略的安全性，并通过最小干预投影来优化策略的执行。主要模块包括策略网络、价值网络和CBF过滤器。

关键创新：SAFTER的主要创新在于其将可恢复性显式纳入安全过滤机制中，提供了一个可微分的证书，避免了传统方法中需要的迭代在线优化过程，从而提高了效率和鲁棒性。

关键设计：在设计中，SAFTER使用了特定的损失函数来平衡安全性与策略优化，并采用了精确的投影雅可比矩阵，以确保在高变化环境中的成功率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SAFTER在四足动物导航任务中实现了90%的训练成功率，且过渡次数减少了30.6%。在未见的模拟环境中，相比于CBF-RL和SEA-Nav，成功率分别提高了42.4和61.4个百分点，展示了其在安全性和鲁棒性方面的显著优势。

🎯 应用场景

SAFTER的研究成果具有广泛的应用潜力，尤其是在机器人导航、自动驾驶和其他需要在动态环境中进行安全决策的领域。通过提高策略的鲁棒性和样本效率，该方法能够为实际应用提供更安全和可靠的解决方案，推动智能系统的安全性和适应性发展。

📄 摘要（原文）

Learning safe policies that generalize to unseen environments is difficult under bounded actuation, where an unsafe decision may become unrecoverable. Conventional control barrier function (CBF) filters enforce only instantaneous safety and ignore future recoverability. We propose SAFTER (Safety-Aware Filtering Through Explicit Recoverability), which embeds a differentiable, closed-form backup-CBF filter into Soft Actor-Critic training. SAFTER unifies current safety, finite-horizon backup safety, terminal recoverability, and input admissibility into a single differentiable certificate. Its CBF condition yields an exact minimum-intervention projection without iterative online optimization. In quadruped navigation, SAFTER reaches 90% training success with 30.6% fewer transitions than Vanilla SAC and 34.1-35.1% fewer than current-state CBF-filtered SAC baselines. Across unseen simulated environments, SAFTER improves success by up to 42.4 and 61.4 percentage points over the state-of-the-art methods CBF-RL and SEA-Nav, respectively, and achieves 73.3% and 76.7% success on two real-world navigation maps. Ablations identify accurate differentiation through the safety filter as a key contributor to robustness, in which replacing the projection Jacobian with the identity approximation reduces success rate in a High-Shift environment from 61.4% to 6.2%. These results show that recoverability-aware filtering serves as both a runtime safety mechanism and a learning mechanism for sample-efficient, robust policies.