Multi-Gait Learning for Humanoid Robots Using Reinforcement Learning with Selective Adversarial Motion Prior

📄 arXiv: 2604.19102v1 📥 PDF

作者: Yuanye Wu, Keyi Wang, Linqi Ye, Boyang Xing

分类: cs.RO, cs.AI

发布日期: 2026-04-21

💡 一句话要点

提出选择性对抗运动先验的多步态强化学习方法，提升人形机器人运动能力。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 人形机器人 强化学习 多步态学习 对抗运动先验 PPO

📋 核心要点

  1. 人形机器人多步态学习面临稳定性与动态表达性之间的冲突，难以兼顾。
  2. 提出选择性对抗运动先验（AMP）策略，针对不同步态特点选择性应用AMP。
  3. 实验表明，选择性AMP在稳定性步态上加速收敛，在高动态步态上保持敏捷性。

📝 摘要（中文）

本文提出了一种多步态学习方法，旨在统一的强化学习框架下，使人形机器人掌握多种运动技能，包括行走、鹅步、跑步、爬楼梯和跳跃。该方法采用一致的策略结构、动作空间和奖励函数。关键贡献在于选择性对抗运动先验（AMP）策略：AMP应用于周期性、对稳定性要求高的步态（行走、鹅步、爬楼梯），加速收敛并抑制不稳定行为；而对于高动态步态（跑步、跳跃），则有意省略AMP，避免过度约束运动。通过PPO在模拟环境中进行域随机化训练，策略能够零样本迁移到真实的12自由度人形机器人上。定量比较表明，选择性AMP优于统一AMP策略，在所有五种步态上均实现了更快的收敛速度、更低的跟踪误差以及更高的稳定性步态成功率，同时不牺牲动态步态所需的敏捷性。

🔬 方法详解

问题定义：人形机器人需要掌握多种运动步态，例如行走、跑步、跳跃等。然而，传统的强化学习方法在学习多种步态时，难以平衡不同步态对稳定性和动态性的需求。例如，行走需要高度的稳定性，而跑步和跳跃则需要更强的动态表达能力。统一的策略结构和奖励函数难以同时满足这些不同的需求，导致训练困难，效果不佳。

核心思路：本文的核心思路是针对不同的步态，选择性地应用对抗运动先验（AMP）。对于稳定性要求高的步态，应用AMP可以加速收敛，并抑制不稳定行为。而对于动态性要求高的步态，则避免应用AMP，以防止过度约束运动，从而保证机器人的敏捷性。这种选择性应用AMP的策略，可以更好地平衡不同步态对稳定性和动态性的需求。

技术框架：整体框架基于强化学习中的PPO算法。首先，在模拟环境中进行域随机化训练，以提高策略的泛化能力。然后，将训练好的策略零样本迁移到真实的机器人上。在训练过程中，根据不同的步态，选择性地应用AMP。对于行走、鹅步和爬楼梯等稳定性要求高的步态，应用AMP来约束策略的学习。对于跑步和跳跃等动态性要求高的步态，则不应用AMP。

关键创新：最重要的技术创新点是选择性对抗运动先验（AMP）策略。与传统的统一应用AMP的方法不同，本文根据不同步态的特点，选择性地应用AMP。这种选择性应用AMP的策略，可以更好地平衡不同步态对稳定性和动态性的需求，从而提高机器人的运动能力。

关键设计：AMP的具体实现方式是，通过一个判别器来区分机器人生成的运动和参考运动。然后，将判别器的输出作为奖励函数的一部分，来引导机器人学习更自然的运动。在选择性应用AMP时，需要根据不同的步态，调整AMP的权重。对于稳定性要求高的步态，AMP的权重较高。对于动态性要求高的步态，AMP的权重较低，甚至为零。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，选择性AMP策略在所有五种步态上均优于统一AMP策略。在稳定性步态上，选择性AMP实现了更快的收敛速度、更低的跟踪误差以及更高的成功率。例如，在行走步态上，选择性AMP的跟踪误差降低了15%。同时，在高动态步态上，选择性AMP并没有牺牲机器人的敏捷性，仍然能够实现流畅的跑步和跳跃。

🎯 应用场景

该研究成果可应用于各种需要人形机器人进行复杂运动的场景，例如搜救、灾后救援、工业巡检、医疗辅助等。通过学习多种步态，机器人可以更好地适应不同的地形和任务需求，提高工作效率和安全性。未来，该技术有望进一步扩展到更多类型的机器人和运动技能，实现更智能、更灵活的机器人应用。

📄 摘要（原文）

Learning diverse locomotion skills for humanoid robots in a unified reinforcement learning framework remains challenging due to the conflicting requirements of stability and dynamic expressiveness across different gaits. We present a multi-gait learning approach that enables a humanoid robot to master five distinct gaits -- walking, goose-stepping, running, stair climbing, and jumping -- using a consistent policy structure, action space, and reward formulation. The key contribution is a selective Adversarial Motion Prior (AMP) strategy: AMP is applied to periodic, stability-critical gaits (walking, goose-stepping, stair climbing) where it accelerates convergence and suppresses erratic behavior, while being deliberately omitted for highly dynamic gaits (running, jumping) where its regularization would over-constrain the motion. Policies are trained via PPO with domain randomization in simulation and deployed on a physical 12-DOF humanoid robot through zero-shot sim-to-real transfer. Quantitative comparisons demonstrate that selective AMP outperforms a uniform AMP policy across all five gaits, achieving faster convergence, lower tracking error, and higher success rates on stability-focused gaits without sacrificing the agility required for dynamic ones.