Robust Probabilistic Shielding for Safe Offline Reinforcement Learning

📄 arXiv: 2605.10293v1 📥 PDF

作者: Maris F. L. Galesloot, Thomas Rhemrev, Nils Jansen

分类: cs.LG, cs.AI

发布日期: 2026-05-11

💡 一句话要点

提出鲁棒概率屏蔽方法，实现离线强化学习中的安全策略改进

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 安全强化学习 概率屏蔽 策略改进 鲁棒决策 动作空间约束

📋 核心要点

  1. 离线强化学习难以在缺乏环境交互的情况下，同时保证策略的性能下界与运行过程中的安全性。
  2. 论文将概率屏蔽机制引入离线策略改进框架，利用数据集与安全状态先验，动态约束动作空间以规避风险。
  3. 实验证明该方法在低数据量环境下能显著提升策略的平均性能与最差情况下的鲁棒性，优于传统未屏蔽方法。

📝 摘要（中文）

在离线强化学习（RL）中，我们仅利用固定数据集学习策略，无需与环境交互。该领域面临两大挑战：一是提供性能保证，二是确保策略安全性。安全策略改进（SPI）技术通过高概率保证新策略优于给定的安全基准策略。与此同时，在安全RL领域，屏蔽（Shielding）机制通过将动作空间限制在基于安全模型可证明安全的范围内来提供安全保障。本文将这两种范式结合，将屏蔽技术扩展至离线RL，仅依赖现有数据集及对安全/不安全状态的先验知识。通过对策略改进步骤进行屏蔽，实现了高概率的安全策略保证。实验结果表明，屏蔽后的SPI优于未屏蔽的基线，显著提升了平均性能和最差情况下的表现，特别是在数据稀缺场景下效果尤为突出。

🔬 方法详解

问题定义：离线强化学习面临“分布偏移”导致的性能下降风险，且缺乏在线交互意味着无法通过试错来纠正不安全行为。现有方法要么侧重于性能优化（如SPI），要么侧重于硬约束（如屏蔽），两者难以在离线场景下有效融合。

核心思路：将概率屏蔽（Probabilistic Shielding）作为一种安全过滤器嵌入到离线策略改进过程中。通过利用数据集中的安全状态信息，在策略更新的每一步对动作进行筛选，确保策略改进过程始终处于安全约束范围内。

技术框架：该方法由离线策略改进模块和安全屏蔽模块组成。首先基于离线数据集构建安全模型，随后在策略改进的每一步，利用屏蔽器对候选动作进行过滤，仅保留满足安全概率阈值的动作，从而在保证安全的前提下最大化期望收益。

关键创新：首次将概率屏蔽范式与离线安全策略改进（SPI）相结合。通过将安全约束转化为动作空间的概率限制，实现了在离线数据约束下对策略改进过程的“安全护栏”保护，解决了离线RL中安全与性能的权衡难题。

关键设计：核心在于定义安全状态的转移概率模型，并利用该模型计算动作的安全性置信区间。通过设定严格的概率阈值，屏蔽器在策略评估与改进阶段动态剔除高风险动作，确保新策略在统计意义上满足安全约束。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，屏蔽后的SPI方法在多个基准测试中表现优异。特别是在数据稀缺（low-data regimes）的极端情况下，该方法不仅显著提升了策略的平均回报，更重要的是大幅改善了最差情况下的性能（worst-case performance），证明了其在保障系统安全性方面的鲁棒性远超未屏蔽的基线模型。

🎯 应用场景

该技术适用于高风险、高成本且难以进行在线试错的领域，如自动驾驶、工业机器人控制、医疗决策支持及关键基础设施管理。在这些场景中，利用历史数据进行策略优化时，该方法能有效防止系统进入不安全状态，具有极高的实际应用价值与安全性保障意义。

📄 摘要（原文）

In offline reinforcement learning (RL), we learn policies from fixed datasets without environment interaction. The major challenges are to provide guarantees on the (1) performance and (2) safety of the resulting policy. A technique called safe policy improvement (SPI) provides a performance guarantee: with high probability, the new policy outperforms a given baseline policy, which is assumed to be safe. Orthogonally, in the context of safe RL, a shield provides a safety guarantee by restricting the action space to those actions that are provably safe with respect to a given safety-relevant model. We integrate these paradigms by extending shielding to offline RL, relying solely on the available dataset and knowledge of safe and unsafe states. Then, we shield the policy improvement steps, guaranteeing, with high probability, a safe policy. Experimental results demonstrate that shielded SPI outperforms its unshielded counterpart, improving both average and worst-case performance, particularly in low-data regimes.