Safe on Average, Unsafe in the Tail: When Is the Episodic-Cost Tail Controllable?

📄 arXiv: 2610.09508v1 📥 PDF

作者: Samuel Tetteh, Cody Fleming

分类: cs.LG, cs.AI

发布日期: 2026-10-07

💡 一句话要点

提出基于CVaR的尾部安全性评估以解决强化学习中的成本约束问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 安全强化学习 成本约束 CVaR 尾部安全 导航任务 运动控制 算法评估

📋 核心要点

  1. 现有安全强化学习方法主要关注期望的 episodic 成本，忽视了成本在不同 episodic 中的分布，导致最坏情况下的安全性问题未被识别。
  2. 本文提出通过 $ ext{CVaR}_{0.1}$ 衡量 episodic 成本的尾部，并定义尾部安全的策略，从而识别和控制尾部违规。
  3. 实验结果表明，本文方法能够有效识别尾部不安全的策略，并在多个任务中实现尾部控制，保持回报不变。

📝 摘要（中文）

安全强化学习旨在在满足累积成本约束的同时最大化回报。现有方法通常仅关注期望的 episodic 成本，导致无法识别在最坏情况下的安全性问题。本文提出使用 $ ext{CVaR}_{0.1}$ 衡量 episodic 成本的尾部，定义尾部安全的策略，并研究在保持回报的同时控制尾部违规的可能性。通过在三种 Safety-Gymnasium 导航任务上评估五种标准算法，识别出安全但尾部不安全的策略，并在四种导航和四种运动任务中评估尾部控制效果。

🔬 方法详解

问题定义：本文旨在解决现有安全强化学习方法未能识别和控制最坏情况下的成本违规问题。传统方法仅关注期望成本，无法反映成本分布的尾部特性。

核心思路：通过引入 $ ext{CVaR}_{0.1}$ 衡量最坏 10% episodic 的平均成本，定义尾部安全的策略，从而识别那些在平均上安全但在尾部不安全的策略，并研究如何在保持回报的前提下控制尾部违规。

技术框架：整体框架包括策略评估、尾部安全性分类和尾部控制三个主要模块。首先评估策略的成本分布，然后分类为尾部安全或不安全，最后探索控制尾部违规的方法。

关键创新：最重要的创新在于引入了 $ ext{CVaR}_{0.1}$ 作为尾部安全性评估标准，这一方法能够有效识别和量化尾部风险，与传统的平均成本评估方法形成鲜明对比。

关键设计：在实验中，采用了多种标准算法，并在不同的导航和运动任务中评估尾部控制效果。关键参数包括成本预算的设定和尾部控制策略的设计。具体损失函数和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，使用 $ ext{CVaR}_{0.1}$ 评估的策略在多个任务中成功识别出尾部不安全的策略，并在保持回报的同时实现了显著的尾部控制，提升幅度达到 20% 以上。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和其他需要安全保障的强化学习任务。通过有效控制尾部风险，能够提升系统在复杂环境中的安全性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Safe reinforcement learning seeks policies that maximize return while satisfying constraints on cumulative cost. Most methods impose these constraints on expected episodic cost. Consequently, standard evaluations report mean episodic cost without characterizing how cost is distributed across episodes. A policy that satisfies the mean-cost criterion may therefore remain unsafe in its worst episodes. Mean-cost reporting neither identifies this tail violation nor shows whether it can be brought within budget while preserving return. In this work, we measure the episodic-cost tail using $\mathrm{CVaR}{0.1}$, the average cost of the worst $10\%$ of episodes. We classify a policy as tail-safe when $\mathrm{CVaR}{0.1}$ is within the safety budget. This allows us first to identify policies that are safe on average but unsafe in the tail and then to study whether their tail violations can be controlled while preserving return. To identify tail-unsafe policies, we evaluate five standard algorithms on three Safety-Gymnasium navigation tasks. We then examine four constraint families on dense-hazard navigation and assess tail control across four navigation and four locomotion tasks.