Predictive Safety Curricula for Robust Legged Locomotion

📄 arXiv: 2609.37070v1 📥 PDF

作者: Ivan Ovinnikov, Pascal Sutter, Christian Gehring, Jordis Herrmann

分类: cs.RO, cs.AI, cs.LG

发布日期: 2026-09-29

💡 一句话要点

提出预测安全课程以提升腿部机器人运动的可靠性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 腿部机器人 运动策略 安全评估 训练课程 可靠性提升

📋 核心要点

  1. 现有的训练课程主要关注任务难度的调整，未能有效处理安全关键经验的分布，导致潜在的严重失败。
  2. 本文提出的预测安全课程（PSC）通过学习未来安全成本的预测，优先分配训练经验，以提高运动策略的可靠性。
  3. 实验结果显示，PSC在ANYmal-D硬件上将胫骨碰撞发生率降低了63%，并在生产楼梯攀爬平台上消除了观察到的胫骨碰撞。

📝 摘要（中文）

在腿部机器人学习的运动策略中，尽管平均任务表现良好，仍可能存在罕见但严重的失败。现有的课程主要调整任务难度，而未考虑安全关键经验的分布。本文提出了预测安全课程（PSC），通过学习未来安全成本的预测来分配运动训练经验。PSC从策略回放中训练一个分布式安全评估器，并利用其预测来优先考虑地形上下文和以前遇到的随机事件。实验表明，PSC在控制的粗糙地形运动和实际运动系统中均显著提高了可靠性，尤其是在困难地形和观察条件恶化的情况下。

🔬 方法详解

问题定义：本文旨在解决腿部机器人在学习运动策略时，尽管整体表现良好，但仍可能出现的罕见且严重的失败问题。现有方法未能有效考虑安全关键经验的分布，导致训练效果不理想。

核心思路：论文提出的预测安全课程（PSC）通过训练一个分布式安全评估器，利用其对未来安全成本的预测来优先分配训练经验，从而增强运动策略的可靠性。

技术框架：PSC的整体架构包括三个主要模块：首先，从策略回放中获取训练数据；其次，训练分布式安全评估器以预测未来的安全成本；最后，根据预测结果调整训练分布，优先考虑高风险的地形和事件。

关键创新：PSC的核心创新在于引入了安全成本的预测机制，使得训练经验的分配更为智能化，显著提高了对罕见失败模式的关注，与传统方法相比，能够更有效地提升运动的可靠性。

关键设计：在设计中，PSC保持了任务奖励和策略优化损失不变，专注于调整训练分布。关键参数包括安全评估器的网络结构和损失函数的设计，以确保其能够准确预测未来的安全成本。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，PSC在ANYmal-D硬件上将胫骨碰撞发生率降低了63%，并在生产楼梯攀爬平台上成功消除了所有观察到的胫骨碰撞。这些结果显示了PSC在提高运动可靠性方面的显著优势，尤其是在困难地形和不良观察条件下。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、救援任务、以及复杂环境下的移动系统。通过提高腿部机器人的运动可靠性，PSC可以在实际应用中减少事故发生率，提升任务执行的安全性和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Rare but consequential failures can persist in learned locomotion policies for legged robots even when average task performance is high, in part because standard curricula primarily adapt task difficulty rather than the distribution of safety-critical experience. We introduce Predictive Safety Curricula (PSC), a framework for allocating locomotion training experience using learned predictions of future safety cost. PSC trains a distributional safety critic from policy rollouts and uses its predictions to prioritize both terrain contexts and previously encountered randomized events. The resulting curriculum modifies the training distribution while leaving the task reward and policy-optimization loss unchanged. We evaluate PSC in controlled rough-terrain locomotion and in production locomotion systems. PSC improves reliability relative to standard terrain progression, advantage-based replay, and learning-progress curricula, with the largest gains on difficult terrain and under degraded observations. The same allocation principle transfers to two production locomotion stacks. On ANYmal-D hardware, PSC reduces shank-collision incidence by $63\%$ relative to the learning-progress curriculum across three matched training seeds, with a reduction in every seed. On a production stair-climbing platform, PSC eliminates observed shank collisions in the evaluated hardware trials. These results show that learned predictions of future safety cost can provide an effective signal for allocating training experience toward rare failure modes and improving locomotion reliability.