Learning Agile Locomotion and Adaptive Behaviors via RL-augmented MPC
作者: Yiyu Chen, Quan Nguyen
分类: cs.RO
发布日期: 2023-10-13 (更新: 2024-03-19)
🔗 代码/项目: GITHUB
💡 一句话要点
提出RL增强的MPC以解决四足机器人自适应行为问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 四足机器人 自适应行为 强化学习 模型预测控制 运动控制 鲁棒性 灵活性
📋 核心要点
- 现有的四足机器人运动控制方法往往将支撑脚控制与摆脚轨迹分开，导致运动不够灵活和鲁棒。
- 本文提出了一种将强化学习与模型预测控制相结合的方法，统一了支撑脚与摆脚的控制，提高了自适应行为。
- 在Unitree A1机器人上实现了该方法，取得了最高转向速率8.5 rad/s和最高奔跑速度3 m/s的优异表现。
📝 摘要（中文）
在四足机器人领域，自适应行为包括自适应平衡和自适应摆脚反射。自适应平衡用于抵抗机器人受到的扰动，而自适应摆脚反射则帮助机器人在复杂地形中导航，避免脚被卡住。本文通过结合强化学习（RL）与模型预测控制（MPC），将这两种自适应行为应用于四足机器人运动，提升了盲行运动的鲁棒性和灵活性。与传统的运动控制方法不同，我们的创新方法将支撑脚控制与摆脚轨迹统一起来，解决了二者之间的不同步问题。我们的贡献在于将支撑脚控制与摆脚反射相结合，显著提高了运动的灵活性和鲁棒性。我们在Unitree A1机器人上训练了该策略，取得了8.5 rad/s的最高转向速率和3 m/s的最高奔跑速度，并在承载10 kg负载的情况下保持稳定运动。
🔬 方法详解
问题定义：本文旨在解决四足机器人在复杂地形中自适应运动的挑战，现有方法未能有效协调支撑脚与摆脚的控制，导致运动灵活性不足。
核心思路：通过结合强化学习（RL）与模型预测控制（MPC），实现支撑脚控制与摆脚反射的统一，增强机器人的自适应能力和运动鲁棒性。
技术框架：整体架构包括数据采集、策略训练和控制执行三个主要模块。首先，通过MPC进行运动预测，然后利用RL优化控制策略，最后在机器人上实时执行控制命令。
关键创新：将支撑脚控制与摆脚反射相结合的创新设计，使得机器人在复杂环境中能够更好地适应变化，显著提高了运动的灵活性和稳定性。
关键设计：在训练过程中，采用了特定的损失函数来平衡支撑脚与摆脚的控制目标，同时设计了适应不同机器人平台的通用学习模块。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Unitree A1机器人在应用该方法后，达到了8.5 rad/s的最高转向速率和3 m/s的最高奔跑速度，且在承载10 kg负载的情况下仍能保持稳定运动，展示了显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括救援机器人、探测机器人以及其他需要在复杂地形中自适应运动的场景。通过提升机器人的自适应能力和运动鲁棒性，未来有望在实际应用中实现更高效的任务执行和环境适应。
📄 摘要（原文）
In the context of legged robots, adaptive behavior involves adaptive balancing and adaptive swing foot reflection. While adaptive balancing counteracts perturbations to the robot, adaptive swing foot reflection helps the robot to navigate intricate terrains without foot entrapment. In this paper, we manage to bring both aspects of adaptive behavior to quadruped locomotion by combining RL and MPC while improving the robustness and agility of blind legged locomotion. This integration leverages MPC's strength in predictive capabilities and RL's adeptness in drawing from past experiences. Unlike traditional locomotion controls that separate stance foot control and swing foot trajectory, our innovative approach unifies them, addressing their lack of synchronization. At the heart of our contribution is the synthesis of stance foot control with swing foot reflection, improving agility and robustness in locomotion with adaptive behavior. A hallmark of our approach is robust blind stair climbing through swing foot reflection. Moreover, we intentionally designed the learning module as a general plugin for different robot platforms. We trained the policy and implemented our approach on the Unitree A1 robot, achieving impressive results: a peak turn rate of 8.5 rad/s, a peak running speed of 3 m/s, and steering at a speed of 2.5 m/s. Remarkably, this framework also allows the robot to maintain stable locomotion while bearing an unexpected load of 10 kg, or 83\% of its body mass. We further demonstrate the generalizability and robustness of the same policy where it realizes zero-shot transfer to different robot platforms like Go1 and AlienGo robots for load carrying. Code is made available for the use of the research community at https://github.com/DRCL-USC/RL_augmented_MPC.git