RL-augmented Adaptive Model Predictive Control for Bipedal Locomotion over Challenging Terrain

📄 arXiv: 2509.18466v1 📥 PDF

作者: Junnosuke Kamohara, Feiyang Wu, Chinmayee Wamorkar, Seth Hutchinson, Ye Zhao

分类: cs.RO

发布日期: 2025-09-22

💡 一句话要点

提出基于强化学习增强的自适应模型预测控制，用于双足机器人复杂地形行走

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 双足机器人 模型预测控制 强化学习 复杂地形 自适应控制

📋 核心要点

  1. 传统MPC在复杂地形中双足行走面临建模难题，难以应对地形交互。
  2. 利用强化学习增强MPC，自适应调整系统动力学、摆动腿控制和步频。
  3. 在多种复杂地形仿真中验证，相比传统MPC和RL，显著提升了适应性和鲁棒性。

📝 摘要（中文）

模型预测控制(MPC)在人形双足运动中表现出有效性；然而，由于难以对地形交互进行建模，其在粗糙和湿滑地形等复杂环境中的适用性受到限制。相比之下，强化学习(RL)在训练各种地形上的鲁棒运动策略方面取得了显著成功，但它缺乏约束满足的保证，并且通常需要大量的奖励塑造。最近结合MPC和RL的努力显示了两者优势互补的希望，但它们主要局限于平坦地形或四足机器人。在这项工作中，我们提出了一种针对粗糙和湿滑地形上的双足运动量身定制的RL增强MPC框架。我们的方法参数化了基于单刚体动力学的MPC的三个关键组成部分：系统动力学、摆动腿控制器和步频。我们通过在NVIDIA IsaacLab中对双足机器人在各种地形（包括楼梯、垫脚石和低摩擦表面）上的仿真来验证我们的方法。实验结果表明，与基线MPC和RL相比，我们的RL增强MPC框架产生了更具适应性和鲁棒性的行为。

🔬 方法详解

问题定义：论文旨在解决双足机器人在复杂地形（如粗糙、湿滑地形）上的稳定行走问题。传统MPC方法依赖于精确的环境模型，但在复杂地形中，精确建模地形交互非常困难，导致MPC性能下降。另一方面，纯强化学习方法虽然可以学习到鲁棒的策略，但缺乏约束保证，且需要大量的奖励函数设计，训练成本高昂。

核心思路：论文的核心思路是将强化学习与模型预测控制相结合，利用强化学习来在线自适应地调整MPC的关键参数，从而提高MPC在复杂地形中的适应性和鲁棒性。具体来说，强化学习负责学习系统动力学、摆动腿控制器和步频的参数，使得MPC能够更好地适应不同的地形条件。

技术框架：该方法采用RL增强的MPC框架。首先，使用MPC进行运动规划和控制，但MPC的关键参数（系统动力学、摆动腿控制器和步频）不是固定的，而是由一个强化学习策略网络动态调整。强化学习策略网络接收机器人的状态信息（如位置、速度、姿态等）作为输入，输出MPC参数的调整量。然后，将调整后的参数传递给MPC，MPC根据这些参数进行运动规划和控制。整个过程在一个循环中进行，强化学习策略网络不断学习，以优化MPC的性能。

关键创新：该方法最重要的创新点在于将强化学习与MPC深度融合，利用强化学习来在线自适应地调整MPC的关键参数。与传统的MPC方法相比，该方法不需要精确的环境模型，能够更好地适应复杂地形。与纯强化学习方法相比，该方法利用了MPC的约束保证，提高了系统的安全性。此外，该方法针对双足机器人进行了专门设计，考虑了双足行走的特殊性。

关键设计：论文中，强化学习策略网络采用Actor-Critic结构，Actor网络负责输出MPC参数的调整量，Critic网络负责评估当前策略的性能。奖励函数的设计至关重要，需要综合考虑机器人的行走速度、稳定性、能量消耗等因素。此外，为了提高训练效率，论文采用了模仿学习和课程学习等技术。具体参数设置未知。

📊 实验亮点

实验结果表明，该RL增强MPC框架在各种复杂地形（包括楼梯、垫脚石和低摩擦表面）上均表现出优异的性能。与基线MPC和RL相比，该方法能够产生更具适应性和鲁棒性的行走行为。具体性能数据未知，但摘要强调了显著的性能提升。

🎯 应用场景

该研究成果可应用于各种需要在复杂地形中行走的双足机器人，例如搜救机器人、巡检机器人、以及用于物流和建筑行业的机器人。通过提高机器人在复杂环境中的适应性和鲁棒性，可以扩展机器人的应用范围，使其能够在更多实际场景中发挥作用。此外，该方法还可以推广到其他类型的机器人，例如四足机器人和轮式机器人。

📄 摘要（原文）

Model predictive control (MPC) has demonstrated effectiveness for humanoid bipedal locomotion; however, its applicability in challenging environments, such as rough and slippery terrain, is limited by the difficulty of modeling terrain interactions. In contrast, reinforcement learning (RL) has achieved notable success in training robust locomotion policies over diverse terrain, yet it lacks guarantees of constraint satisfaction and often requires substantial reward shaping. Recent efforts in combining MPC and RL have shown promise of taking the best of both worlds, but they are primarily restricted to flat terrain or quadrupedal robots. In this work, we propose an RL-augmented MPC framework tailored for bipedal locomotion over rough and slippery terrain. Our method parametrizes three key components of single-rigid-body-dynamics-based MPC: system dynamics, swing leg controller, and gait frequency. We validate our approach through bipedal robot simulations in NVIDIA IsaacLab across various terrains, including stairs, stepping stones, and low-friction surfaces. Experimental results demonstrate that our RL-augmented MPC framework produces significantly more adaptive and robust behaviors compared to baseline MPC and RL.