Learning Multi-Modal Whole-Body Control for Real-World Humanoid Robots

📄 arXiv: 2408.07295v3 📥 PDF

作者: Pranay Dugar, Aayam Shrestha, Fangzhou Yu, Bart van Marum, Alan Fern

分类: cs.RO, cs.AI

发布日期: 2024-07-30 (更新: 2025-02-28)

备注: Website: https://masked-humanoid.github.io/mhc/

💡 一句话要点

提出Masked Humanoid Controller，实现真实人形机器人的多模态全身控制

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 人形机器人控制 全身控制 模仿学习 强化学习 多模态学习

📋 核心要点

  1. 现有人形机器人控制方法在处理复杂、多模态的全身运动控制时存在不足，难以实现稳健性和泛化性。
  2. 论文提出Masked Humanoid Controller (MHC)，通过模仿部分掩码运动，实现对多种行为的全身控制，并保证平衡和抗扰动能力。
  3. 实验表明，MHC在仿真和真实机器人Digit V3上均能有效执行多种行为，验证了其在多模态全身控制方面的能力。

📝 摘要（中文）

本研究提出了Masked Humanoid Controller (MHC)，旨在提升人形机器人的基础能力，包括稳健站立、行走以及全身和部分身体动作的模仿。MHC通过跟踪人形机器人状态变量的选定子集上的目标轨迹，同时确保平衡和抵抗扰动，从而支持这些能力。该控制器在模拟环境中进行训练，采用精心设计的课程，模仿来自行为库的部分掩码运动，行为库涵盖站立、行走、优化参考轨迹、重新定位的视频片段和人体运动捕捉数据。它还允许将基于操纵杆的控制与部分身体运动模仿相结合。仿真实验验证了MHC执行来自部分指定目标运动的各种行为的能力。此外，我们在真实世界的Digit V3人形机器人上展示了从仿真到真实的迁移。据我们所知，这是第一个学习到的控制器，可以实现真实世界人形机器人的全身控制，以实现如此多样化的多模态目标。

🔬 方法详解

问题定义：现有的人形机器人控制器难以同时实现多种运动模式（站立、行走、模仿等）的全身控制，并且在面对真实世界的扰动时鲁棒性不足。此外，从仿真到真实的迁移也面临挑战。

核心思路：论文的核心思路是利用模仿学习，通过学习大量不同类型的运动数据，使控制器能够根据部分指定的运动目标，推断出完整的全身运动。通过在模拟环境中进行强化学习训练，并结合精心设计的课程，提高控制器的鲁棒性和泛化能力。

技术框架：MHC的整体框架包括以下几个主要部分：1) 运动数据收集模块：收集包括站立、行走、优化轨迹、视频片段和人体运动捕捉数据等多种运动数据。2) 掩码运动生成模块：对收集到的运动数据进行部分掩码，生成部分指定的运动目标。3) 控制器训练模块：使用强化学习算法，训练控制器根据部分指定的运动目标，生成完整的全身运动。4) 仿真到真实迁移模块：通过领域随机化等技术，提高控制器在真实机器人上的性能。

关键创新：MHC的关键创新在于：1) 提出了基于掩码运动的模仿学习方法，可以有效地利用多种运动数据，提高控制器的泛化能力。2) 设计了精心设计的课程，逐步增加训练难度，提高控制器的鲁棒性。3) 实现了从仿真到真实机器人的有效迁移，验证了控制器的实用性。

关键设计：在控制器训练过程中，使用了PPO（Proximal Policy Optimization）算法进行强化学习。损失函数包括运动跟踪损失、平衡损失和能量消耗损失。网络结构采用多层感知机（MLP），输入为部分指定的运动目标和机器人状态，输出为机器人的关节力矩。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MHC在仿真环境中能够成功执行多种复杂的全身运动，包括站立、行走、模仿等。在真实机器人Digit V3上的实验也验证了MHC的有效性，能够实现从仿真到真实的迁移。与传统的控制方法相比，MHC在鲁棒性和泛化能力方面有显著提升。具体性能数据未知。

🎯 应用场景

该研究成果可应用于人形机器人的各种场景，例如：家庭服务机器人，可以模仿人类的动作，完成各种家务；工业机器人，可以进行复杂的操作和装配；救援机器人，可以在危险环境中进行搜索和救援。此外，该技术还可以用于虚拟现实和游戏等领域，提高虚拟角色的逼真度和交互性。

📄 摘要（原文）

The foundational capabilities of humanoid robots should include robustly standing, walking, and mimicry of whole and partial-body motions. This work introduces the Masked Humanoid Controller (MHC), which supports all of these capabilities by tracking target trajectories over selected subsets of humanoid state variables while ensuring balance and robustness against disturbances. The MHC is trained in simulation using a carefully designed curriculum that imitates partially masked motions from a library of behaviors spanning standing, walking, optimized reference trajectories, re-targeted video clips, and human motion capture data. It also allows for combining joystick-based control with partial-body motion mimicry. We showcase simulation experiments validating the MHC's ability to execute a wide variety of behaviors from partially-specified target motions. Moreover, we demonstrate sim-to-real transfer on the real-world Digit V3 humanoid robot. To our knowledge, this is the first instance of a learned controller that can realize whole-body control of a real-world humanoid for such diverse multi-modal targets.