HuB: Learning Extreme Humanoid Balance
作者: Tong Zhang, Boyuan Zheng, Ruiqian Nai, Yingdong Hu, Yen-Jen Wang, Geng Chen, Fanqi Lin, Jiongye Li, Chuye Hong, Koushil Sreenath, Yang Gao
分类: cs.RO, cs.AI, cs.LG, eess.SY
发布日期: 2025-05-12 (更新: 2025-08-17)
备注: CoRL 2025 (Oral Presentation). Project website: https://hub-robot.github.io
💡 一句话要点
HuB：学习极端人形机器人平衡控制，提升抗干扰能力
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 平衡控制 强化学习 sim-to-real 鲁棒性 运动规划 抗干扰 PPO
📋 核心要点
- 现有方法在平衡控制任务中面临参考运动误差、形态差异和sim-to-real差距等挑战。
- HuB框架通过参考运动细化、平衡感知策略学习和sim-to-real鲁棒性训练来解决这些问题。
- 实验表明，HuB在Unitree G1机器人上实现了稳定的单腿平衡和抗干扰能力，优于基线方法。
📝 摘要（中文）
人体展现出卓越的运动能力，例如单脚站立或高抬腿超过1.5米的高踢腿，这些都需要精确的平衡控制。虽然最近关于人形机器人控制的研究利用强化学习来跟踪人类运动以获取技能，但将这种范式应用于平衡密集型任务仍然具有挑战性。在这项工作中，我们确定了三个关键障碍：参考运动误差导致的不稳定性，形态不匹配导致的学习困难，以及由传感器噪声和未建模动力学引起的sim-to-real差距。为了应对这些挑战，我们提出了HuB（Humanoid Balance），一个统一的框架，它集成了参考运动细化、平衡感知策略学习和sim-to-real鲁棒性训练，每个组件都针对一个特定的挑战。我们在Unitree G1人形机器人上验证了我们的方法在具有挑战性的准静态平衡任务中的有效性，包括极端的单腿姿势，如燕式平衡和李小龙踢腿。我们的策略即使在强烈的物理干扰下（例如强力的足球踢击）也能保持稳定，而基线方法始终无法完成这些任务。
🔬 方法详解
问题定义：人形机器人平衡控制，尤其是在极端姿势下的平衡，是一个具有挑战性的问题。现有的基于强化学习的方法在应用于平衡密集型任务时，容易受到参考运动误差、机器人形态与人类形态的差异以及仿真到真实环境的差距的影响，导致控制策略不稳定，难以泛化到真实机器人上。
核心思路：HuB的核心思路是将平衡控制问题分解为三个子问题，并分别设计相应的解决方案。首先，通过参考运动细化来减少参考运动的误差；其次，通过平衡感知策略学习来提高策略的鲁棒性；最后，通过sim-to-real鲁棒性训练来减小仿真环境与真实环境之间的差距。这种模块化的设计使得每个模块可以独立优化，从而提高整体性能。
技术框架：HuB框架包含三个主要模块：参考运动细化模块、平衡感知策略学习模块和sim-to-real鲁棒性训练模块。参考运动细化模块用于优化参考运动轨迹，减少误差。平衡感知策略学习模块使用强化学习算法训练控制策略，并引入平衡相关的奖励函数，提高策略的鲁棒性。Sim-to-real鲁棒性训练模块通过添加噪声和扰动来模拟真实环境中的不确定性，提高策略在真实机器人上的泛化能力。
关键创新：HuB的关键创新在于其统一的框架，将参考运动细化、平衡感知策略学习和sim-to-real鲁棒性训练集成在一起。这种集成的方式使得每个模块可以相互协作，共同提高平衡控制的性能。此外，HuB还引入了平衡相关的奖励函数，使得策略能够更好地感知平衡状态，从而提高鲁棒性。
关键设计：在参考运动细化模块中，使用了优化算法来最小化参考运动与机器人实际运动之间的误差。在平衡感知策略学习模块中，使用了PPO等强化学习算法，并引入了重心高度、零力矩点等平衡相关的奖励函数。在sim-to-real鲁棒性训练模块中，通过随机添加传感器噪声、执行器延迟和外部扰动来模拟真实环境中的不确定性。
🖼️ 关键图片
📊 实验亮点
HuB在Unitree G1人形机器人上进行了实验验证，成功实现了燕式平衡和李小龙踢腿等极端单腿平衡姿势。实验结果表明，HuB策略即使在受到强力足球踢击等外部干扰时也能保持稳定，而基线方法则无法完成这些任务。这表明HuB在平衡控制和抗干扰方面具有显著优势。
🎯 应用场景
HuB技术可应用于人形机器人在复杂环境中的稳定行走、运动和操作，例如灾难救援、医疗辅助、家庭服务等。通过提升机器人的平衡能力和抗干扰能力，使其能够在不平坦地形、拥挤环境或受到外部干扰的情况下保持稳定，从而完成各种任务。该研究对人形机器人的实际应用具有重要价值。
📄 摘要（原文）
The human body demonstrates exceptional motor capabilities-such as standing steadily on one foot or performing a high kick with the leg raised over 1.5 meters-both requiring precise balance control. While recent research on humanoid control has leveraged reinforcement learning to track human motions for skill acquisition, applying this paradigm to balance-intensive tasks remains challenging. In this work, we identify three key obstacles: instability from reference motion errors, learning difficulties due to morphological mismatch, and the sim-to-real gap caused by sensor noise and unmodeled dynamics. To address these challenges, we propose HuB (Humanoid Balance), a unified framework that integrates reference motion refinement, balance-aware policy learning, and sim-to-real robustness training, with each component targeting a specific challenge. We validate our approach on the Unitree G1 humanoid robot across challenging quasi-static balance tasks, including extreme single-legged poses such as Swallow Balance and Bruce Lee's Kick. Our policy remains stable even under strong physical disturbances-such as a forceful soccer strike-while baseline methods consistently fail to complete these tasks. Project website: https://hub-robot.github.io