Implicit Kinodynamic Motion Retargeting for Human-to-humanoid Imitation Learning

📄 arXiv: 2509.15443v1 📥 PDF

作者: Xingyu Chen, Hanyu Wu, Sikai Wu, Mingliang Zhou, Diyun Xiang, Haodong Zhang

分类: cs.RO, cs.AI

发布日期: 2025-09-18

💡 一句话要点

提出隐式运动动力学重定向(IKMR)，实现高效的人体动作到人形机器人模仿学习。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人形机器人 模仿学习 运动重定向 运动动力学 人机交互

📋 核心要点

  1. 现有的人形机器人模仿学习方法在运动重定向时，通常逐帧处理，缺乏处理大规模运动数据的能力。
  2. IKMR框架通过预训练运动拓扑特征和结合模仿学习，实现了高效且可扩展的运动重定向，考虑了运动学和动力学约束。
  3. 实验结果表明，IKMR能够实时地将大规模人体运动转化为机器人可执行的轨迹，并成功训练全身控制器。

📝 摘要（中文）

本文提出了一种隐式运动动力学重定向（IKMR）框架，用于解决人到人形机器人模仿学习中的运动重定向问题。现有方法逐帧进行运动重定向，缺乏可扩展性。IKMR通过考虑运动学和动力学，实现了一种高效且可扩展的重定向方法，将大规模人体运动转化为机器人可执行的运动。在运动学方面，IKMR预训练运动拓扑特征表示和一个双编码器-解码器架构，以学习运动域映射。在动力学方面，IKMR将模仿学习与运动重定向网络相结合，将运动细化为物理上可行的轨迹。通过使用跟踪结果进行微调，IKMR可以实时实现大规模物理上可行的运动重定向，并且可以直接训练和部署全身控制器来跟踪其重定向的轨迹。在模拟器和真实人形机器人上的大量实验验证了该框架的有效性。

🔬 方法详解

问题定义：论文旨在解决人到人形机器人模仿学习中，如何高效地将人体运动重定向到机器人上的问题。现有方法主要采用逐帧重定向，计算复杂度高，难以处理大规模运动数据，并且忽略了机器人的动力学约束，导致重定向后的运动轨迹可能无法在真实机器人上执行。

核心思路：论文的核心思路是将运动重定向问题分解为运动学映射和动力学优化两个阶段。首先，通过学习人体运动和机器人运动之间的映射关系，将人体运动转化为机器人的参考运动轨迹。然后，利用模仿学习方法，结合机器人的动力学模型，对参考轨迹进行优化，使其满足机器人的物理约束，从而生成可执行的运动轨迹。

技术框架：IKMR框架包含两个主要模块：运动学重定向网络和动力学优化模块。运动学重定向网络采用双编码器-解码器结构，用于学习人体运动和机器人运动之间的映射关系。该网络首先通过编码器将人体运动和机器人运动分别编码为特征向量，然后通过解码器将人体运动特征向量解码为机器人运动轨迹。动力学优化模块采用模仿学习方法，利用强化学习或最优控制等技术，对运动学重定向网络生成的轨迹进行优化，使其满足机器人的动力学约束。

关键创新：IKMR的关键创新在于将运动学重定向和动力学优化相结合，从而能够生成物理上可行的机器人运动轨迹。此外，IKMR还采用了隐式运动表示方法，通过学习运动拓扑特征，提高了运动重定向的效率和鲁棒性。

关键设计：运动学重定向网络采用双编码器-解码器结构，编码器和解码器均采用Transformer网络。损失函数包括运动学损失和动力学损失。运动学损失用于衡量重定向后的运动轨迹与目标轨迹之间的差异。动力学损失用于衡量重定向后的运动轨迹是否满足机器人的动力学约束。动力学优化模块使用PPO算法进行训练，奖励函数包括跟踪奖励、平衡奖励和能量消耗惩罚。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，IKMR框架能够有效地将人体运动重定向到人形机器人上，并生成物理上可行的运动轨迹。在模拟器和真实机器人上的实验结果表明，IKMR能够实现实时的大规模运动重定向，并且可以直接训练和部署全身控制器来跟踪重定向的轨迹。与现有方法相比，IKMR在运动重定向的效率和鲁棒性方面均有显著提升。

🎯 应用场景

该研究成果可应用于人形机器人的运动技能学习、人机协作、远程操作等领域。通过IKMR框架，可以让人形机器人快速学习各种复杂的运动技能，例如行走、跑步、跳跃等。此外，该框架还可以用于人机协作，使机器人能够根据人的动作进行相应的反应，从而实现更加自然和流畅的人机交互。在远程操作领域，该框架可以用于将人的动作实时地传递给机器人，使机器人能够执行远程任务。

📄 摘要（原文）

Human-to-humanoid imitation learning aims to learn a humanoid whole-body controller from human motion. Motion retargeting is a crucial step in enabling robots to acquire reference trajectories when exploring locomotion skills. However, current methods focus on motion retargeting frame by frame, which lacks scalability. Could we directly convert large-scale human motion into robot-executable motion through a more efficient approach? To address this issue, we propose Implicit Kinodynamic Motion Retargeting (IKMR), a novel efficient and scalable retargeting framework that considers both kinematics and dynamics. In kinematics, IKMR pretrains motion topology feature representation and a dual encoder-decoder architecture to learn a motion domain mapping. In dynamics, IKMR integrates imitation learning with the motion retargeting network to refine motion into physically feasible trajectories. After fine-tuning using the tracking results, IKMR can achieve large-scale physically feasible motion retargeting in real time, and a whole-body controller could be directly trained and deployed for tracking its retargeted trajectories. We conduct our experiments both in the simulator and the real robot on a full-size humanoid robot. Extensive experiments and evaluation results verify the effectiveness of our proposed framework.