Turning Safety into Competence: Minimally Exploitable Robot Policies via Safety-Filtered Reinforcement Learning

📄 arXiv: 2609.27312v1 📥 PDF

作者: Ruihan Wu, Rui Yang, Donggeon David Oh, Duy Nguyen, Haimin Hu

分类: cs.RO, cs.AI, cs.LG, eess.SY

发布日期: 2026-09-23

备注: 8 pages, 4 figures

💡 一句话要点

提出S2C框架以解决机器人安全与竞争任务的矛盾

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 安全强化学习 机器人策略 对抗性学习 马尔可夫博弈 竞争任务 策略优化 安全过滤器

📋 核心要点

  1. 现有的安全强化学习方法将任务成功与安全性耦合，导致训练复杂且策略易被攻击者利用。
  2. 本文提出的S2C框架通过将安全合成与任务学习分离，采用两阶段强化学习方法，提升了策略的安全性与竞争能力。
  3. 在模拟实验中，S2C在胜率、Elo评分和可利用性方面均优于八个基线方法，展示了其卓越的性能。

📝 摘要（中文）

在竞争性任务中，机器人必须在不牺牲安全的前提下超越对手。现有方法，如安全强化学习，通常训练单一策略以同时实现任务成功和避免失败，这种耦合会使训练复杂化，并可能导致策略被恶意攻击者利用。本文提出了安全到能力（S2C）框架，通过将安全合成与竞争任务学习分离，解决了这一问题。我们将竞争交互形式化为安全关键的马尔可夫博弈，并证明在所有参与者承诺安全操作时，完美过滤能够保持策略的不可利用性。S2C通过对抗性强化学习学习稳健的安全过滤器，并在任务策略训练期间将其嵌入环境中，部署时保持相同的过滤器。在模拟的触地游戏中，S2C超越了八个安全强化学习基线，达到了最高的胜率和Elo评分，以及最低的可利用性。硬件压力测试也证实了S2C的能力。

🔬 方法详解

问题定义：本文旨在解决在竞争性任务中，机器人如何在确保安全的同时提升竞争能力的问题。现有方法的痛点在于安全性与任务成功的耦合，使得策略易受攻击。

核心思路：S2C框架的核心思路是将安全合成与任务学习分开，通过两阶段的强化学习来实现安全与能力的独立优化，从而增强策略的稳健性。

技术框架：S2C框架包括两个主要阶段：首先，通过对抗性强化学习学习一个稳健的安全过滤器；其次，在任务策略训练中将该过滤器嵌入环境中，并在部署时保持相同的过滤器。

关键创新：S2C的关键创新在于将安全过滤与任务策略学习分离，且通过马尔可夫博弈形式化竞争交互，证明了完美过滤能够保持策略的不可利用性，这是与现有方法的本质区别。

关键设计：在设计中，采用了对抗性强化学习来训练安全过滤器，确保其在各种竞争场景下的有效性。此外，损失函数和网络结构经过精心设计，以确保过滤器的稳健性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在模拟触地游戏中，S2C框架表现出色，超越了八个安全强化学习基线，达到了最高的胜率和Elo评分，且可利用性最低，显示出其在安全与竞争能力上的显著提升。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、无人机竞赛和机器人竞技等场景，能够有效提升机器人在复杂环境中的安全性与竞争能力，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Robots deployed for competitive tasks must outmaneuver their opponents without sacrificing safety. Existing approaches, including safe reinforcement learning (RL), train a single policy to achieve task success and avoid failures simultaneously. This coupling can complicate training and leave the learned policy exploitable by deliberate attacks. We propose Safety to Competence (S2C), a two-stage RL framework that separates safety synthesis from competitive task learning. We formulate competitive interactions as safety-critical Markov games and prove that perfect filtering preserves policy non-exploitability when all players commit to safe maneuvers. S2C learns a robust safety filter via adversarial RL, embeds it in the environment during task policy training, and retains the same filter at deployment. In simulated touchdown games, S2C outperforms eight safe RL baselines, achieving the highest win rate and Elo rating, and the lowest exploitability. Hardware stress tests against a human opponent confirm S2C's competence.