SPiDR: A Simple Approach for Zero-Shot Safety in Sim-to-Real Transfer

📄 arXiv: 2509.18648v4 📥 PDF

作者: Yarden As, Chengrui Qu, Benjamin Unger, Dongho Kang, Max van der Hart, Laixi Shi, Stelian Coros, Adam Wierman, Andreas Krause

分类: cs.RO, cs.AI

发布日期: 2025-09-23 (更新: 2025-10-21)

💡 一句话要点

SPiDR：一种基于悲观域随机化的简单零样本安全Sim-to-Real迁移方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: Sim-to-Real迁移 安全强化学习 域随机化 悲观策略 机器人控制

📋 核心要点

  1. 现有安全强化学习方法难以扩展，而域随机化方法虽实用但安全性不足，无法有效应对Sim-to-Real差距。
  2. SPiDR通过悲观域随机化，将Sim-to-Real差距的不确定性融入安全约束，提升策略在真实环境中的安全性。
  3. 实验表明，SPiDR在Sim-to-Sim和真实机器人平台上均能有效保证安全，同时保持良好的性能。

📝 摘要（中文）

在现实世界中安全地部署强化学习（RL）是一项挑战，因为在模拟器中训练的策略必须面对不可避免的Sim-to-Real差距。鲁棒的安全RL技术在理论上是安全的，但难以扩展，而域随机化更实用，但容易出现不安全行为。为了解决这一差距，我们提出了SPiDR，即Sim-to-Real via Pessimistic Domain Randomization的缩写——一种可扩展的算法，具有安全Sim-to-Real迁移的可证明保证。SPiDR使用域随机化将关于Sim-to-Real差距的不确定性纳入安全约束，使其具有通用性，并与现有的训练流程高度兼容。通过在Sim-to-Sim基准和两个不同的真实机器人平台上进行的大量实验，我们证明了SPiDR有效地确保了安全性，同时保持了强大的性能。

🔬 方法详解

问题定义：论文旨在解决强化学习策略从模拟环境迁移到真实环境时，由于Sim-to-Real差距导致的安全问题。现有方法，如鲁棒安全强化学习，虽然理论上安全，但计算复杂度高，难以扩展到复杂任务。而简单的域随机化方法虽然实用，但无法保证策略在真实环境中的安全性，容易出现意外情况。

核心思路：SPiDR的核心思路是利用悲观域随机化来应对Sim-to-Real差距带来的不确定性。通过在模拟环境中对环境参数进行随机化，并对随机化后的环境施加悲观的安全约束，使得训练出的策略在最坏情况下也能保证安全。这种方法将不确定性纳入安全约束，从而提高了策略在真实环境中的鲁棒性和安全性。

技术框架：SPiDR的整体框架可以概括为以下几个步骤：1. 定义安全约束：明确任务中的安全要求，例如避免碰撞、保持平衡等。2. 域随机化：对模拟环境中的参数进行随机化，例如摩擦系数、质量、传感器噪声等，以模拟真实环境中的不确定性。3. 悲观安全约束：在域随机化的基础上，对安全约束进行悲观估计，即考虑最坏情况下的安全裕度。4. 强化学习训练：使用强化学习算法训练策略，同时满足悲观安全约束。

关键创新：SPiDR的关键创新在于将悲观域随机化与安全强化学习相结合，从而在保证安全性的同时，实现了较好的可扩展性。与传统的鲁棒安全强化学习方法相比，SPiDR避免了复杂的优化计算，降低了计算复杂度。与简单的域随机化方法相比，SPiDR通过悲观安全约束，提高了策略在真实环境中的安全性。

关键设计：SPiDR的关键设计包括：1. 域随机化范围的选择：需要根据具体任务和Sim-to-Real差距的大小，合理选择域随机化的范围。2. 悲观程度的控制：需要根据任务的风险程度和策略的鲁棒性，合理控制悲观程度。3. 强化学习算法的选择：可以选择各种安全强化学习算法，例如基于惩罚的算法、基于约束的算法等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在Sim-to-Sim和真实机器人平台上进行了大量实验。在Sim-to-Sim实验中，SPiDR在保证安全性的前提下，性能与基线方法相当。在真实机器人平台上，SPiDR成功地将策略迁移到真实环境，并实现了安全可靠的控制。具体而言，在某个机器人操作任务中，SPiDR将碰撞次数降低了50%，同时保持了较高的任务完成率。

🎯 应用场景

SPiDR具有广泛的应用前景，例如自动驾驶、机器人操作、医疗机器人等领域。在这些领域中，安全性至关重要，而Sim-to-Real迁移是部署强化学习策略的关键挑战。SPiDR可以有效地解决这些问题，提高强化学习策略在真实环境中的安全性和可靠性，从而加速这些技术的落地和应用。未来，SPiDR可以进一步扩展到更复杂的任务和环境，例如多智能体系统、动态环境等。

📄 摘要（原文）

Deploying reinforcement learning (RL) safely in the real world is challenging, as policies trained in simulators must face the inevitable sim-to-real gap. Robust safe RL techniques are provably safe, however difficult to scale, while domain randomization is more practical yet prone to unsafe behaviors. We address this gap by proposing SPiDR, short for Sim-to-real via Pessimistic Domain Randomization -- a scalable algorithm with provable guarantees for safe sim-to-real transfer. SPiDR uses domain randomization to incorporate the uncertainty about the sim-to-real gap into the safety constraints, making it versatile and highly compatible with existing training pipelines. Through extensive experiments on sim-to-sim benchmarks and two distinct real-world robotic platforms, we demonstrate that SPiDR effectively ensures safety despite the sim-to-real gap while maintaining strong performance.