Model-Informed Safe Reinforcement Learning for Bipedal Locomotion via Step-to-Step Prediction

📄 arXiv: 2609.34486v1 📥 PDF

作者: Victor Paredes, Ayonga Hereid

分类: cs.RO

发布日期: 2026-09-28

备注: Accepted to IROS 2026

💡 一句话要点

提出基于模型的安全强化学习框架以解决双足机器人步态控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人形机器人 强化学习 安全控制 步态生成 动态环境 模型知情学习 控制障碍函数

📋 核心要点

  1. 现有的步态生成方法在安全性和适应性方面存在不足，难以满足复杂环境中的实际需求。
  2. 本文提出了一种模型知情的强化学习框架，结合了ALIP模板和DECBF，以确保步态的安全性和鲁棒性。
  3. 实验结果表明，与无约束基线相比，本文方法在外部干扰试验中显著减少了安全违规事件，验证了其有效性。

📝 摘要（中文）

人形机器人在复杂的人类环境中展现出灵活的移动能力，但实际部署需要确保安全性。传统的基于模型的步态生成器虽然能产生可解释的运动，但往往缺乏现代强化学习方法的鲁棒性和适应性。本文提出了一种基于分析性角动量线性倒立摆（ALIP）模板的模型知情强化学习框架。我们通过离散指数控制障碍函数（DECBF）为ALIP步态提供逐步安全证书，并将其作为训练时的塑形信号和运行时的动作过滤器，以最小调整摆动脚位置来满足模板级约束。通过在MuJoCo中对Digit人形机器人进行全身控制器堆栈的实证评估，我们的方法在外部干扰试验中显著减少了安全违规事件。

🔬 方法详解

问题定义：本文旨在解决人形机器人在复杂环境中步态控制的安全性问题。现有方法在应对外部干扰时，往往无法保证足够的安全性和适应性。

核心思路：我们提出了一种结合模型知情强化学习和ALIP模板的框架，通过DECBF提供逐步安全证书，以确保机器人在动态环境中的安全步态生成。

技术框架：该框架包括两个主要模块：训练时的塑形信号和运行时的动作过滤器。塑形信号用于引导学习过程，而动作过滤器则在执行阶段调整摆动脚的位置以满足安全约束。

关键创新：本文的主要创新在于将DECBF与强化学习相结合，提供了一种新的安全保障机制，显著提高了步态生成的安全性和适应性。与传统方法相比，该框架在安全性和灵活性上具有显著优势。

关键设计：在设计中，我们设置了特定的控制参数和损失函数，以优化步态生成过程中的安全性。此外，采用了全身控制器堆栈以实现复杂的运动控制，确保机器人在动态环境中的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，与无约束基线相比，本文提出的方法在外部干扰试验中减少了安全违规事件，验证了其有效性和鲁棒性。具体而言，在面对较大的横向速度瞬变时，展示了安全跟踪的权衡，进一步证明了方法的实用性。

🎯 应用场景

该研究的潜在应用领域包括人形机器人在家庭、医疗和服务行业中的部署，尤其是在需要与人类密切互动的环境中。通过确保安全性，该框架可以促进人形机器人在实际场景中的广泛应用，提升人机协作的效率和安全性。

📄 摘要（原文）

Humanoid robots promise versatile mobility in cluttered, human-centric environments, but real deployment demands principled safety. Classical model-based gait generators yield interpretable motions but often lack the robustness and adaptability of modern reinforcement learning (RL) based approaches. We propose a model-informed reinforcement learning framework anchored to the analytical Angular Momentum Linear Inverted Pendulum (ALIP) template. We provide a step-to-step safety certificate for ALIP stepping via a discrete exponential control barrier function (DECBF) and use it as (i) a training-time shaping signal and (ii) a runtime action filter that minimally adjusts swing-foot placement to satisfy template-level constraints. Full-order safety is evaluated empirically on the Digit humanoid in MuJoCo with a whole-body controller stack. Compared to an unconstrained baseline, our approach reduces safety-violation events in the reported external-disturbance trial, while larger lateral-velocity transients reveal a safety-tracking tradeoff.