Energy-Efficient Gait Adaptation via Hierarchical Reinforcement Learning for Quadrupedal Locomotion Across Diverse Terrains
作者: Ammar Issa, Anubhav Singh, Anton Tsaritsin, Sergey Kolyubin
分类: cs.RO, cs.LG
发布日期: 2026-10-07
备注: 9 pages. Submitted to IEEE ICRA 2027. Ammar Issa, Anubhav Singh, and Anton Tsaritsin contributed equally
💡 一句话要点
提出分层强化学习框架以提高四足机器人在多种地形上的能效
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 四足机器人 分层强化学习 能效优化 步态适应 运输成本 机器人控制 多地形适应
📋 核心要点
- 现有方法在不同速度和地形条件下，难以实现低能耗与稳健性能的平衡，尤其是端到端强化学习策略。
- 本文提出的分层强化学习框架将高频运动执行与低频步态适应分离，明确优化运输成本，提升能效。
- 实验结果显示，该方法在多种地形上实现了显著降低的运输成本，并在物理机器人上成功部署，验证了其实用性。
📝 摘要（中文）
能效是腿式机器人运动控制的关键目标，但在不同速度范围和地形条件下保持低能耗与稳健性能仍然是一个挑战。本文提出了一种分层强化学习（HRL）框架，将高频策略用于稳定的关节级运动执行，与低频步态适应相结合，明确最小化运输成本（CoT）。通过三阶段的Isaac训练程序，实现了零-shot的模拟到现实转移，提升了跟踪精度、稳健性和能效。所学的层次结构展示了自动的速度依赖步态适应，能够在低速时进行步态过渡，在高速时则转为小跑。我们在模拟中验证了该方法，相较于单一策略和分层运动基线，展示了在广泛指令速度下的CoT降低，同时在平坦、不平整和倾斜地形上保持稳健的运动。最后，我们通过在物理Unitree AlienGo四足机器人上的零-shot部署，展示了其实际可行性。
🔬 方法详解
问题定义：本文旨在解决腿式机器人在多种地形和速度条件下的能效与稳健性问题。现有的端到端强化学习方法在步态生成、运动执行和能量优化上紧密耦合，导致对奖励设计高度敏感，难以实现理想的能效表现。
核心思路：论文提出了一种分层强化学习（HRL）框架，通过将高频策略用于稳定的关节级运动执行，与低频步态适应相结合，从而明确优化运输成本（CoT），实现更高的能效和稳健性。
技术框架：整体架构包括三个主要阶段：首先是高频的关节运动执行策略，其次是低频的步态适应模块，最后是基于Isaac的训练程序，支持零-shot的模拟到现实转移。
关键创新：最重要的技术创新在于分层结构的设计，使得机器人能够根据速度自动调整步态，从低速的步态过渡到高速的小跑，这一机制在现有方法中并不常见。
关键设计：在参数设置上，采用了特定的损失函数以优化运输成本，并设计了适应不同速度的网络结构，以支持高效的步态转换和运动执行。实验中使用的奖励设计也经过精心调整，以确保在不同环境下的稳健性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在广泛的指令速度下显著降低了运输成本，相较于基线方法，CoT降低幅度达到XX%（具体数据未知），并在不同地形条件下保持了稳健的运动性能，展示了其优越性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、救援机器人以及探索任务等，能够在复杂地形中实现高效的移动。其实际价值在于提升四足机器人在多种环境下的适应能力，未来可能推动机器人在实际应用中的广泛部署。
📄 摘要（原文）
While energy efficiency is a critical objective for legged-robot locomotion control, achieving low energy consumption while maintaining robust performance across different velocity ranges and terrain conditions remains a key challenge. This is particularly true for end-to-end RL policies, where gait generation, motion execution, and energy optimization are tightly coupled, leading to high sensitivity to reward design. In this work, we propose a hierarchical reinforcement learning (HRL) framework that separates a high-frequency policy for stable and robust joint-level motion execution from low-frequency gait adaptation that explicitly minimizes the cost of transport (CoT). The three-stage Isaac-based training procedure enables zero-shot sim-to-real transfer with improved tracking accuracy, robustness, and energy efficiency. The learned hierarchy exhibits automatic speed-dependent gait adaptation, transitioning from pacing at low speeds to trotting at higher speeds. We validate the proposed approach in simulation against representative single-policy and hierarchical locomotion baselines, demonstrating reduced CoT over a broad range of commanded velocities, while maintaining robust locomotion across flat, uneven rough, and inclined terrains. We further demonstrate its practical feasibility through zero-shot deployment on a physical Unitree AlienGo quadruped.