Evaluation Metrics for Safe Reinforcement Learning
作者: Lindsay Spoor, Aske Plaat, Thomas Moerland
分类: cs.AI, cs.LG
发布日期: 2026-09-14
💡 一句话要点
提出安全强化学习评估指标以解决现有方法不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 安全强化学习 评估指标 约束马尔可夫决策过程 算法比较 开源工具
📋 核心要点
- 现有安全强化学习方法主要依赖于平均安全性评估，无法全面反映算法的真实安全性和可靠性。
- 论文提出了一套新的评估指标，能够捕捉安全界限的违反频率和严重程度，并引入安全等级系统进行算法比较。
- 通过在多个安全导航任务中的实证评估，结果显示联合报告多种指标能提供更全面的信息，提升了评估的可靠性。
📝 摘要（中文）
安全强化学习（RL）通常被形式化为约束马尔可夫决策过程（CMDP），其中代理在保持预期累计成本低于指定安全界限的同时最大化预期奖励。现有的安全RL基准主要报告算法在平均情况下是否安全，这种期望基础的保证不足以可靠地表征算法的真实安全性。本文提出了新的评估指标，解决了现有方法的不足，并定义了安全等级系统，以系统地对算法进行安全性和可靠性分类。通过实证评估，我们的结果表明，聚合指标、分布报告和任务特定结果各自揭示了其他指标无法提供的信息，因此建议联合报告这些信息，而不是压缩为单一值。我们还提供了一个开源评估套件SafeRLEval，以支持未来安全RL研究中的安全性可靠表征。
🔬 方法详解
问题定义：本文旨在解决现有安全强化学习评估方法的不足，尤其是无法准确反映算法在不同任务和安全界限下的表现。现有方法往往只关注平均安全性，忽视了安全界限的违反情况。
核心思路：论文提出了一套新的评估指标，能够系统地捕捉算法在训练和最终策略下的安全性表现，并引入安全等级系统以便于算法之间的比较。
技术框架：整体架构包括三个主要模块：1) 新的评估指标，2) 安全等级系统，3) 实证评估框架。评估指标涵盖了安全界限的违反频率、严重程度及其在不同任务中的一致性。
关键创新：最重要的创新在于提出了多维度的安全评估指标和安全等级系统，这与传统的单一平均安全性评估方法有本质区别，能够提供更全面的安全性表征。
关键设计：在评估指标设计中，考虑了任务特定性和安全界限的多样性，确保了指标的适用性和灵活性。同时，SafeRLEval作为开源工具，支持用户在未来研究中应用这些新指标。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用新提出的评估指标和安全等级系统，能够更准确地反映算法的安全性。在多个安全导航任务中，联合报告的指标提供了比单一值更丰富的信息，显著提升了评估的可靠性和有效性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人控制和医疗决策等安全关键任务。在这些领域中，确保算法的安全性和可靠性至关重要。通过提供更全面的评估框架，研究将推动安全强化学习的实际应用和发展，促进更安全的智能系统的部署。
📄 摘要（原文）
Safe reinforcement learning (RL) is commonly formalized as a Constrained Markov Decision Process (CMDP), in which an agent maximizes expected reward while keeping its expected cumulative cost below a specified safety bound. Existing safe RL benchmarks predominantly report whether an algorithm is safe on average, following this expectation-based guarantee. We argue that this convention is insufficient to reliably characterize an algorithm's true safety: it fails to capture how often and how severely the safety bound is violated, whether this holds consistently across tasks and safety bounds, and whether training-time behavior is representative of behavior of the final converged policy. Therefore, we introduce (i) evaluation metrics for safe RL that address each of these concerns and in addition allow for aggregation across tasks and safety bounds. We furthermore define (ii) a safety tier system to systematically categorize and compare algorithms in terms of safety and reliability at both training and for a final policy. Using this framework, we provide (iii) an empirical safety evaluation across multiple safety navigation tasks. Our results show that aggregate metrics, distributional reporting, and task- and safety bound-specific results each reveal information the other metrics cannot. We therefore recommend reporting all three jointly, rather than compressing this information into a single value, as is common practice. We provide SafeRLEval, an open-source evaluation suite to support the reliable characterization of safety in future safe RL research.