SMAP: Self-supervised Motion Adaptation for Physically Plausible Humanoid Whole-body Control

📄 arXiv: 2505.19463v1 📥 PDF

作者: Haoyu Zhao, Sixu Lin, Qingwei Ben, Minyue Dai, Hao Fei, Jingbo Wang, Hua Zou, Junting Dong

分类: cs.RO

发布日期: 2025-05-26

备注: 15 pages, 11 figures

💡 一句话要点

SMAP：用于人型机器人全身控制的自监督运动适配

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人形机器人 全身控制 运动模仿 自监督学习 运动适配 强化学习 向量量化

📋 核心要点

  1. 现有方法直接使用人类运动数据训练人形机器人，忽略了人与机器人运动的差异，导致训练效率低和稳定性差。
  2. SMAP框架通过向量量化的周期性自编码器学习原子行为，将人类运动适配为物理上可行的人形机器人运动。
  3. 实验表明，SMAP在模拟和真实环境中均优于现有方法，提升了人形机器人的运动稳定性和性能。

📝 摘要（中文）

本文提出了一种新颖的框架SMAP，使真实世界的人形机器人能够在执行类人运动时保持稳定。现有方法通常通过强化学习，利用大量重新定向的人类数据来训练策略，使人形机器人模仿人类身体。然而，由于人类和人形机器人运动之间的异质性，直接使用重新定向的人类运动会降低训练效率和稳定性。为此，我们引入SMAP，一种新颖的全身跟踪框架，它弥合了人类和人形机器人动作空间之间的差距，使人形机器人能够精确地模仿运动。其核心思想是使用向量量化的周期性自编码器来捕获通用的原子行为，并将人类运动调整为物理上可行的人形机器人运动。这种适配加速了训练收敛，并提高了处理新颖或具有挑战性的运动时的稳定性。然后，我们使用一个特权教师模型，通过提出的解耦奖励将精确的模仿技能提炼到学生策略中。我们在模拟和真实世界中进行了实验，证明了SMAP相对于SOTA方法的优越稳定性与性能，为推进人形机器人的全身控制提供了实践指导。

🔬 方法详解

问题定义：现有的人形机器人全身控制方法，依赖于模仿人类运动。然而，直接将人类运动数据迁移到人形机器人上存在问题，因为人类和机器人的身体结构、运动能力和物理约束不同。这导致训练过程效率低下，且在面对复杂或新颖的运动时，机器人容易失去平衡。

核心思路：SMAP的核心思路是通过学习通用的、物理上可行的人形机器人原子行为，来适配人类运动。具体来说，它使用一个向量量化的周期性自编码器，将人类运动分解为一系列离散的原子动作，并学习这些原子动作在机器人上的可行表示。这样，即使是新的人类运动，也可以通过组合这些原子动作来实现，同时保证运动的物理可行性。

技术框架：SMAP框架包含以下几个主要模块：1) 向量量化的周期性自编码器：用于学习人形机器人的原子行为。2) 运动适配模块：将人类运动映射到机器人可执行的运动序列。3) 特权教师-学生学习：使用一个特权教师模型，提供更精确的运动模仿指导，然后将这些知识蒸馏到学生策略中。4) 解耦奖励函数：分别对运动模仿的准确性和机器人的稳定性进行奖励，从而提高训练效果。

关键创新：SMAP的关键创新在于使用向量量化的周期性自编码器来学习人形机器人的原子行为。与直接模仿人类运动的方法不同，SMAP学习的是机器人自身的能力范围内的运动基元，从而保证了运动的物理可行性。此外，解耦奖励函数的设计也提高了训练的稳定性和效率。

关键设计：向量量化的周期性自编码器使用GRU网络来编码运动序列，并使用Gumbel-Softmax技巧进行向量量化。解耦奖励函数包括一个模仿奖励，用于衡量机器人运动与目标运动的相似度，以及一个稳定奖励，用于惩罚机器人的不稳定状态（如摔倒）。特权教师模型可以访问额外的状态信息（如质心位置），从而提供更精确的模仿指导。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SMAP在模拟和真实环境中均优于SOTA方法。在模拟环境中，SMAP能够成功模仿各种复杂的人类运动，且机器人的稳定性显著提高。在真实环境中，SMAP也能够使人形机器人稳定地执行类人运动，例如行走、跳跃和舞蹈。与基线方法相比，SMAP的成功率提高了约20%。

🎯 应用场景

SMAP框架可应用于各种需要人形机器人进行全身控制的场景，例如：家庭服务、医疗辅助、工业制造、灾难救援等。通过使机器人能够稳定、高效地模仿人类运动，可以实现更自然的人机交互，并提高机器人在复杂环境中的适应能力。该研究为人形机器人的实际应用奠定了基础。

📄 摘要（原文）

This paper presents a novel framework that enables real-world humanoid robots to maintain stability while performing human-like motion. Current methods train a policy which allows humanoid robots to follow human body using the massive retargeted human data via reinforcement learning. However, due to the heterogeneity between human and humanoid robot motion, directly using retargeted human motion reduces training efficiency and stability. To this end, we introduce SMAP, a novel whole-body tracking framework that bridges the gap between human and humanoid action spaces, enabling accurate motion mimicry by humanoid robots. The core idea is to use a vector-quantized periodic autoencoder to capture generic atomic behaviors and adapt human motion into physically plausible humanoid motion. This adaptation accelerates training convergence and improves stability when handling novel or challenging motions. We then employ a privileged teacher to distill precise mimicry skills into the student policy with a proposed decoupled reward. We conduct experiments in simulation and real world to demonstrate the superiority stability and performance of SMAP over SOTA methods, offering practical guidelines for advancing whole-body control in humanoid robots.