Uncertainty-Aware Predictive Safety Filters for Probabilistic Neural Network Dynamics

📄 arXiv: 2604.26836v1 📥 PDF

作者: Bernd Frauenknecht, Lukas Kesper, Daniel Mayfrank, Henrik Hose, Sebastian Trimpe

分类: cs.LG, eess.SY

发布日期: 2026-04-29

💡 一句话要点

提出UPSi：一种基于概率神经网络动态模型的、具有不确定性感知的预测安全滤波器

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 预测安全滤波器 强化学习 不确定性量化 概率神经网络 模型预测控制

📋 核心要点

  1. 现有预测安全滤波器依赖于第一性原理模型或高斯过程，限制了其在复杂高维动态系统中的应用。
  2. UPSi通过使用概率集成神经网络动态模型，并显式量化不确定性，提供更严格的安全预测。
  3. 实验表明，UPSi在保证探索安全性的同时，维持了与标准MBRL相当的性能，提升了探索效率。

📝 摘要（中文）

预测安全滤波器(PSF)利用模型预测控制在深度强化学习(RL)探索过程中强制满足约束，但它们对第一性原理模型或高斯过程的依赖限制了可扩展性和更广泛的适用性。同时，基于模型的RL(MBRL)方法通常采用概率集成(PE)神经网络，以最小的先验知识从数据中捕获复杂的高维动态。然而，现有的将PE集成到PSF中的尝试缺乏严格的不确定性量化。我们引入了不确定性感知预测安全滤波器(UPSi)，这是一种PSF，它通过将未来的结果公式化为可达集，使用PE动态模型提供严格的安全预测。UPSi引入了一个显式的确定性约束，防止模型被利用，并无缝集成到常见的MBRL框架中。我们在Dyna风格的MBRL中，在标准的安全RL基准上评估UPSi，并报告了与先前的神经网络PSF相比，探索安全性的显著提高，同时保持了与标准MBRL相当的性能。UPSi弥合了现代MBRL的可扩展性和通用性与预测安全滤波器的安全保证之间的差距。

🔬 方法详解

问题定义：现有的预测安全滤波器(PSF)在应用于复杂、高维的动态系统时面临挑战，因为它们通常依赖于第一性原理模型或高斯过程，这些方法难以扩展到高维空间，并且需要较强的先验知识。而基于模型的强化学习(MBRL)虽然可以使用概率集成(PE)神经网络来学习动态模型，但缺乏对模型不确定性的有效量化，导致在探索过程中可能出现不安全行为。因此，如何利用神经网络动态模型，同时保证探索过程的安全性，是一个亟待解决的问题。

核心思路：UPSi的核心思路是构建一个不确定性感知的预测安全滤波器，它利用概率集成神经网络来学习动态模型，并显式地量化模型的不确定性。通过将未来的状态预测表示为可达集，并引入一个确定性约束，UPSi能够防止模型被过度利用，从而保证探索过程的安全性。这种方法结合了MBRL的灵活性和PSF的安全保证。

技术框架：UPSi的整体框架可以概括为：首先，使用概率集成神经网络学习环境的动态模型。然后，利用该模型预测未来的状态轨迹，并将这些轨迹表示为可达集。接着，引入一个确定性约束，该约束基于模型的不确定性来限制探索的范围，防止进入不安全区域。最后，将UPSi集成到MBRL框架中，指导智能体的探索过程。该框架包含模型学习、状态预测、安全约束和策略优化四个主要阶段。

关键创新：UPSi的关键创新在于其不确定性感知机制。它不仅利用概率集成神经网络来学习动态模型，而且还显式地量化了模型的不确定性，并将其纳入到安全约束中。这种方法能够更准确地评估探索过程中的风险，从而避免不安全行为的发生。与现有的神经网络PSF相比，UPSi提供了更严格的安全保证。

关键设计：UPSi的关键设计包括：1) 使用概率集成神经网络来建模动态系统，每个网络预测状态转移的均值和方差。2) 将未来的状态预测表示为可达集，可达集的大小取决于模型的不确定性。3) 引入一个确定性约束，该约束要求可达集必须位于安全区域内。4) 使用拉格朗日对偶方法将安全约束转化为无约束优化问题，以便于求解。损失函数通常包括预测误差和安全约束两部分，通过调整权重来平衡性能和安全性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UPSi在多个安全强化学习基准测试中取得了显著的性能提升。与现有的神经网络PSF相比，UPSi在保证探索安全性的同时，维持了与标准MBRL相当的性能。具体而言，在某些任务中，UPSi能够将不安全事件的发生率降低50%以上，同时保持了较高的奖励值。这些结果验证了UPSi的有效性和优越性。

🎯 应用场景

UPSi具有广泛的应用前景，例如在自动驾驶、机器人控制、医疗诊断等领域。在自动驾驶中，UPSi可以帮助车辆安全地探索未知的驾驶环境。在机器人控制中，UPSi可以保证机器人在复杂环境中安全地执行任务。在医疗诊断中，UPSi可以辅助医生进行更准确的诊断，并避免误诊的风险。未来，UPSi有望成为安全强化学习领域的重要组成部分。

📄 摘要（原文）

Predictive safety filters (PSFs) leverage model predictive control to enforce constraint satisfaction during deep reinforcement learning (RL) exploration, yet their reliance on first-principles models or Gaussian processes limits scalability and broader applicability. Meanwhile, model-based RL (MBRL) methods routinely employ probabilistic ensemble (PE) neural networks to capture complex, high-dimensional dynamics from data with minimal prior knowledge. However, existing attempts to integrate PEs into PSFs lack rigorous uncertainty quantification. We introduce the Uncertainty-Aware Predictive Safety Filter (UPSi), a PSF that provides rigorous safety predictions using PE dynamics models by formulating future outcomes as reachable sets. UPSi introduces an explicit certainty constraint that prevents model exploitation and integrates seamlessly into common MBRL frameworks. We evaluate UPSi within Dyna-style MBRL on standard safe RL benchmarks and report substantial improvements in exploration safety over prior neural network PSFs while maintaining performance on par with standard MBRL. UPSi bridges the gap between the scalability and generality of modern MBRL and the safety guarantees of predictive safety filters.