Learning Agility and Adaptive Legged Locomotion via Curricular Hindsight Reinforcement Learning

📄 arXiv: 2310.15583v1 📥 PDF

作者: Sicen Li, Yiming Pang, Panju Bai, Zhaojin Liu, Jiawei Li, Shihao Hu, Liquan Wang, Gang Wang

分类: cs.RO

发布日期: 2023-10-24

💡 一句话要点

提出课程式回顾强化学习以解决腿部机器人灵活性与适应性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 课程学习 回顾经验重放 腿部机器人 灵活性 适应性 强化学习 自主运动 动态环境

📋 核心要点

  1. 现有的腿部机器人在执行灵活和适应性动作时面临诸多挑战，尤其是在复杂和动态的环境中。
  2. 论文提出了一种课程式回顾强化学习（CHRL），通过自动调整任务难度和利用回顾经验重放来提升机器人的运动能力。
  3. 实验结果表明，四足机器人能够自主完成跌倒恢复、连贯跑步，并在户外环境中以高达3.45米/秒的速度移动，表现出良好的适应性。

📝 摘要（中文）

灵活和适应性动作，如跌倒恢复、高速转弯和野外冲刺，对于腿部系统而言是具有挑战性的。我们提出了一种课程式回顾强化学习（CHRL），旨在学习一个端到端的跟踪控制器，以实现腿部机器人强大的灵活性和适应性。该方法的两个关键组成部分是：一是针对任务难度的自动课程策略，二是适应腿部运动任务的回顾经验重放策略。我们在真实的四足机器人上展示了成功的灵活和适应性运动，机器人能够自主进行跌倒恢复、连贯的跑步，户外持续速度达到3.45米/秒，调节速度达到3.2弧度/秒。该系统能够对自然地形（如草地和泥土）上的变化情况和意外干扰做出适应性反应。

🔬 方法详解

问题定义：本论文旨在解决腿部机器人在复杂环境中执行灵活和适应性动作的能力不足，现有方法在应对动态变化和意外干扰时表现不佳。

核心思路：提出课程式回顾强化学习（CHRL），通过自动调整任务难度和回顾经验重放策略，提升机器人的学习效率和适应能力。

技术框架：整体架构包括两个主要模块：自动课程策略模块和回顾经验重放模块。前者负责动态调整任务难度，后者则通过重放过去的经验来加速学习过程。

关键创新：最重要的创新在于将课程学习与回顾经验重放相结合，形成了一种新的学习策略，使得机器人能够在多变的环境中快速适应并执行复杂动作。

关键设计：在参数设置上，采用了适应性调整的学习率和损失函数，网络结构上则使用了深度强化学习框架，以增强机器人的决策能力和运动控制精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，四足机器人在户外环境中能够自主完成跌倒恢复，持续以3.45米/秒的速度移动，并在调节速度上达到3.2弧度/秒，表现出优于传统方法的灵活性和适应性。这些成果表明，CHRL方法在实际应用中具有显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括救援机器人、户外探险机器人以及服务机器人等。通过提升机器人在复杂环境中的灵活性和适应性，能够显著提高其在实际任务中的表现和可靠性，未来可能在灾难救援、农业和军事等领域发挥重要作用。

📄 摘要（原文）

Agile and adaptive maneuvers such as fall recovery, high-speed turning, and sprinting in the wild are challenging for legged systems. We propose a Curricular Hindsight Reinforcement Learning (CHRL) that learns an end-to-end tracking controller that achieves powerful agility and adaptation for the legged robot. The two key components are (I) a novel automatic curriculum strategy on task difficulty and (ii) a Hindsight Experience Replay strategy adapted to legged locomotion tasks. We demonstrated successful agile and adaptive locomotion on a real quadruped robot that performed fall recovery autonomously, coherent trotting, sustained outdoor speeds up to 3.45 m/s, and tuning speeds up to 3.2 rad/s. This system produces adaptive behaviours responding to changing situations and unexpected disturbances on natural terrains like grass and dirt.