SEVI: Safe Evidential Real-World Reinforcement Learning

📄 arXiv: 2610.31829v1 📥 PDF

作者: Shaekh Mohammad Shithil, Lantao Liu

分类: cs.RO, cs.AI, cs.LG

发布日期: 2026-10-22

备注: 13 pages, 7 figures. Accepted for publication in IEEE Robotics and Automation Letters (RA-L), 2026. Project page: https://sevi-safe.github.io/

💡 一句话要点

提出SEVI框架以解决现实世界强化学习中的安全问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 安全强化学习 证据安全评论员 机器人操作 在线学习 不安全事件预测

📋 核心要点

  1. 现有的强化学习方法在实际应用中面临不安全交互的问题，限制了其在物理机器人上的有效部署。
  2. SEVI框架通过引入证据安全评论员，实时评估动作的安全性并在必要时进行安全干预，确保学习过程的安全性。
  3. 实验结果表明，SEVI在任务成功率和不安全事件数量上均优于基线方法，安全事件减少幅度达到13.4%至57.1%。

📝 摘要（中文）

现实世界的强化学习使得在物理机器人上直接训练接触丰富的操作任务成为可能，但在线学习过程中的不安全交互仍然是实际部署的主要障碍。本文提出了安全证据现实世界强化学习（SEVI）框架，旨在实现可靠性意识的安全干预。SEVI引入了一种证据安全评论员，能够在单次前向传递中估计未来约束违反风险和认知不确定性。在在线学习过程中，SEVI在执行每个任务策略动作之前进行评估；如果预测的动作被认为是不安全的，或者预测的证据支持不足，SEVI将用离线训练的恢复策略覆盖该动作，引导机器人朝向低风险区域。我们在两个模拟操作任务和一个真实的USB插入任务上评估了SEVI，结果显示SEVI在轨迹级安全预测、最终任务成功率和不安全事件数量上均表现最佳。

🔬 方法详解

问题定义：本文旨在解决现实世界强化学习中不安全交互的问题，现有方法在在线学习过程中缺乏有效的安全干预机制，导致潜在的安全风险。

核心思路：SEVI框架通过引入证据安全评论员，实时评估每个动作的安全性和不确定性，确保在执行前对潜在风险进行有效控制。

技术框架：SEVI的整体架构包括两个主要模块：证据安全评论员和恢复策略。前者负责评估动作的安全性，后者在必要时提供安全的替代动作。

关键创新：SEVI的创新点在于将未来约束违反风险和认知不确定性的评估整合到一个单一的前向传递中，显著提高了安全性预测的准确性。

关键设计：在设计中，SEVI采用了特定的损失函数来平衡安全性和任务成功率，同时优化了网络结构以提高实时处理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SEVI在轨迹级安全预测方面表现最佳，最终任务成功率最高，并且不安全事件数量显著降低，相较于恢复基础的安全强化学习，减少幅度达到13.4%至57.1%。

🎯 应用场景

该研究的潜在应用领域包括工业机器人、自动驾驶汽车和服务机器人等需要进行复杂操作的场景。通过提高安全性，SEVI能够促进这些技术在实际环境中的广泛应用，降低事故风险，提升用户信任。

📄 摘要（原文）

Real-world reinforcement learning has enabled contact-rich manipulation tasks to be trained directly on physical robots, but unsafe interactions during online learning remain a key barrier to practical deployment. We propose Safe Evidential Real-World Reinforcement Learning (SEVI), a framework for reliability-aware safety intervention during real-world policy learning. SEVI introduces an Evidential Safety Critic that estimates both future constraint-violation risk and epistemic uncertainty in a single forward pass. During online learning, SEVI evaluates each task-policy action before execution; if the action is predicted to be unsafe or the prediction is insufficiently supported by evidence, SEVI overrides it with an offline-trained recovery policy that guides the robot toward a lower-risk region. We evaluate SEVI on two simulated manipulation tasks and a real-world USB insertion task under in-distribution and distribution-shifted conditions. Across task-learning and safety-critic baselines, SEVI achieves the strongest trajectory-level safety prediction, the highest final task success, and the lowest unsafe-event counts. SEVI also reduces unsafe events by 13.4 to 57.1 percent relative to recovery-based safe RL while preserving low-latency execution-time filtering. The project page is available at: https://sevi-safe.github.io/