Agile Continuous Jumping in Discontinuous Terrains
作者: Yuxiang Yang, Guanya Shi, Changyi Lin, Xiangyun Meng, Rosario Scalise, Mateo Guaman Castro, Wenhao Yu, Tingnan Zhang, Ding Zhao, Jie Tan, Byron Boots
分类: cs.RO
发布日期: 2024-09-17 (更新: 2024-09-20)
备注: Website: https://yxyang.github.io/jumping_cod/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出一种分层学习控制框架，实现四足机器人在非连续地形上的敏捷连续跳跃。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)
关键词: 四足机器人 连续跳跃 强化学习 模型预测控制 地形感知 分层控制 非连续地形
📋 核心要点
- 现有方法难以控制四足机器人在非连续地形上进行长时间、高动态的连续跳跃。
- 提出分层学习控制框架，结合学习的高度图预测、强化学习质心运动策略和模型预测腿部控制。
- 实验表明，该框架使机器人在楼梯和垫脚石上实现敏捷连续跳跃，优于其他跑酷任务的基线。
📝 摘要（中文）
本文重点研究四足机器人在非连续地形（如楼梯和垫脚石）上的敏捷、连续和地形自适应跳跃。与单步跳跃不同，连续跳跃需要在较长时间内精确执行高度动态的运动，这对现有方法提出了挑战。为了完成这项任务，我们设计了一个分层学习和控制框架，该框架包括一个用于稳健地形感知的学习高度图预测器、一个用于通用和地形自适应规划的基于强化学习的质心级运动策略，以及一个用于精确运动跟踪的低级基于模型的腿部控制器。此外，我们通过精确建模硬件特性来最大限度地减少从仿真到现实的差距。我们的框架使宇树Go1机器人在人类大小的楼梯和稀疏的垫脚石上首次实现了敏捷和连续的跳跃。特别地，机器人可以在每次跳跃中跨越两个楼梯台阶，并在4.5秒内完成一个3.5米长、2.8米高、14个台阶的楼梯。此外，相同的策略在各种其他跑酷任务中也优于基线，例如跳过单个水平或垂直不连续面。
🔬 方法详解
问题定义：论文旨在解决四足机器人在非连续地形上进行敏捷、连续跳跃的问题。现有方法在处理长时间序列、高动态的连续跳跃时面临挑战，难以实现稳定和高效的运动控制。尤其是在复杂地形下，感知误差和控制精度都会显著影响跳跃的成功率。
核心思路：论文的核心思路是采用分层控制架构，将复杂的跳跃任务分解为地形感知、运动规划和底层控制三个层次。通过学习的方式增强地形感知的鲁棒性，利用强化学习实现地形自适应的运动规划，并使用模型预测控制保证运动跟踪的精度。这种分层结构能够有效解耦不同层次的任务，降低控制难度。
技术框架：整体框架包含三个主要模块：1) 高度图预测器：使用学习方法预测地形高度图，提供鲁棒的地形感知；2) 质心运动策略：基于强化学习，规划质心运动轨迹，实现地形自适应的跳跃；3) 腿部控制器：采用模型预测控制，精确跟踪质心运动轨迹，控制腿部运动。
关键创新：论文的关键创新在于将学习方法、强化学习和模型预测控制相结合，构建了一个完整的分层控制框架。通过学习高度图预测器，提高了地形感知的鲁棒性；通过强化学习，实现了地形自适应的运动规划；通过模型预测控制，保证了运动跟踪的精度。这种组合使得机器人能够在复杂地形上实现敏捷、连续的跳跃。
关键设计：高度图预测器使用卷积神经网络进行训练，输入为机器人携带的深度相机数据。强化学习采用Actor-Critic算法，奖励函数设计考虑了跳跃距离、稳定性、能量消耗等因素。模型预测控制基于机器人动力学模型，优化目标为最小化质心运动轨迹跟踪误差和关节力矩。
📊 实验亮点
实验结果表明，该框架使宇树Go1机器人在人类大小的楼梯和稀疏的垫脚石上首次实现了敏捷和连续的跳跃。机器人可以在每次跳跃中跨越两个楼梯台阶，并在4.5秒内完成一个3.5米长、2.8米高、14个台阶的楼梯。此外，相同的策略在各种其他跑酷任务中也优于基线。
🎯 应用场景
该研究成果可应用于搜救、勘探、物流等领域。在复杂地形或灾害环境中，四足机器人可以利用连续跳跃能力快速通过障碍，执行侦察、救援或运输任务。此外，该技术也可用于开发更具运动能力的机器人，例如用于娱乐或体育竞技的机器人。
📄 摘要（原文）
We focus on agile, continuous, and terrain-adaptive jumping of quadrupedal robots in discontinuous terrains such as stairs and stepping stones. Unlike single-step jumping, continuous jumping requires accurately executing highly dynamic motions over long horizons, which is challenging for existing approaches. To accomplish this task, we design a hierarchical learning and control framework, which consists of a learned heightmap predictor for robust terrain perception, a reinforcement-learning-based centroidal-level motion policy for versatile and terrain-adaptive planning, and a low-level model-based leg controller for accurate motion tracking. In addition, we minimize the sim-to-real gap by accurately modeling the hardware characteristics. Our framework enables a Unitree Go1 robot to perform agile and continuous jumps on human-sized stairs and sparse stepping stones, for the first time to the best of our knowledge. In particular, the robot can cross two stair steps in each jump and completes a 3.5m long, 2.8m high, 14-step staircase in 4.5 seconds. Moreover, the same policy outperforms baselines in various other parkour tasks, such as jumping over single horizontal or vertical discontinuities. Experiment videos can be found at https://yxyang.github.io/jumping_cod/