FAITH: Feasibility-Aware Safety-Filtered RL for High-Dimensional Systems
作者: Songyuan Zhang, Baljeet Singh, Sarthak Ranjeet Kaingade, Chuchu Fan, Bryan Trinh
分类: cs.RO, cs.LG, eess.SY
发布日期: 2026-10-08
备注: 8 pages, 7 figures
💡 一句话要点
提出FAITH框架以解决高维系统的安全强化学习问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 安全强化学习 高维系统 无模型方法 动态优化 人形机器人
📋 核心要点
- 现有的安全强化学习方法将安全性与任务性能放在同一目标中，导致相互竞争的更新，难以平衡二者。
- 本文提出FAITH框架，通过无模型的方法近似最优状态-动作安全值，避免了传统方法的解析安全函数需求。
- 在实验中，FAITH在多个环境中表现出色，尤其是在高维人形机器人任务中，实现了高达99.95%的安全率。
📝 摘要（中文）
安全强化学习通常将安全性与任务性能置于同一策略目标中，可能导致相互竞争的更新。安全过滤器在动作执行时将二者分开，但传统设计需要解析的安全函数和动态模型，且标准的最小干预过滤器对长期任务回报缺乏前瞻性。本文提出FAITH，一个可行性意识的无模型框架，近似最优状态-动作安全值，并通过前馈网络实现最小干预过滤的摊销。任务策略通过过滤后的动态优化任务回报，恢复可行的约束问题，而无需在任务策略更新中引入竞争的安全项。在没有动作满足学习的安全条件时，过滤器接近预测的最小峰值伤害的动作。在双积分器示例和安全健身房环境中，FAITH在没有可行起始违规的情况下实现了最高回报，并在不可行起始时匹配最低伤害。在29自由度的人形机器人上，它在Walking-Avoid中达到99.95%的安全率，同时保留97%的未过滤回报，并在Push-Avoid中通过学习牺牲平衡而获得最高的安全率。相同的策略也在实际的Unitree G1人形机器人上得到了验证。
🔬 方法详解
问题定义：本文旨在解决高维系统中安全强化学习的挑战，现有方法在安全性与任务性能之间存在竞争，导致更新不稳定。
核心思路：FAITH框架通过近似最优状态-动作安全值，利用前馈网络实现最小干预过滤的摊销，从而将安全性与任务性能有效分离。
技术框架：FAITH的整体架构包括任务策略优化、过滤动态和安全值近似模块，任务策略在过滤后的动态中优化任务回报，确保安全性。
关键创新：FAITH的主要创新在于其可行性意识的设计，避免了传统方法对解析安全函数的依赖，并通过学习安全条件来处理不可行动作。
关键设计：在技术细节上，FAITH采用前馈神经网络来近似安全值，并设计了相应的损失函数以平衡任务回报与安全性。
🖼️ 关键图片
📊 实验亮点
在实验中，FAITH在双积分器和安全健身房环境中实现了最高回报，并在29自由度的人形机器人上达到99.95%的安全率，同时保留97%的未过滤回报，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶和其他高维动态系统的安全决策。FAITH框架能够在确保安全的前提下优化任务性能，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Safe reinforcement learning commonly places safety and task performance in the same policy objective, where they can introduce competing updates. Safety filters separate them at action execution, but classical designs require an analytic safety function and dynamics model, and standard minimal-intervention filters are myopic to long-horizon task return because they minimize only instantaneous action deviation. Hard projections are also undefined when no safe action exists. We present FAITH, a feasibility-aware, model-free framework that approximates the optimal state-action safety value and amortizes minimal-intervention filtering with a feedforward network. The task policy optimizes the task return through the filtered dynamics, which recovers the feasible constrained problem without a competing safety term in the task-policy update. When no action satisfies the learned safety condition, the same filter approaches the action with minimum predicted peak harm. On a double integrator example and a Safety Gym environment, FAITH achieves the highest return among methods with no feasible-start violations and matches the lowest harm from infeasible starts. On a 29-DoF humanoid, it reaches a 99.95% safety rate while retaining 97% of the unfiltered return in Walking-Avoid, and obtains the highest measured safety rate in Push-Avoid by learning to sacrifice balancing and fall away from the protected region. The same policies are also demonstrated on a real-world Unitree G1 humanoid.