InterMimicGen: Scaling Humanoid Loco-Manipulation through Self-Evolving Motion Imitation
作者: Yucheng Zhang, Sirui Xu, Jinhong Li, Liuyu Bian, Anatulya Nandi, Derek Zhang, Xiangchen Liu, Xueting Li, Umar Iqbal, Yu-Xiong Wang, Liang-Yan Gui
分类: cs.RO, cs.CV, cs.GR
发布日期: 2026-10-05
备注: Project Page: https://sirui-xu.github.io/InterMimicGen
💡 一句话要点
提出InterMimicGen以解决人形机器人运动模仿的稀疏性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 人形机器人 运动模仿 自我演化 数据整合 通用跟踪器 物理模拟 任务执行 运动资源扩展
📋 核心要点
- 现有的人形机器人运动模仿方法面临数据稀疏和异质性的问题，导致无法有效执行复杂的任务。
- 论文提出的InterMimicGen框架通过自我演化的运动模仿，整合人类交互数据并训练通用跟踪器，实现了运动数据的持续扩展。
- 实验结果显示，该方法在多种机器人配置下保持了高质量的运动执行，并成功转移到真实机器人上，显著提升了运动模仿的效果。
📝 摘要（中文）
捕捉的人类与物体的交互为人形机器人运动模仿提供了丰富的监督信息，但这些数据稀疏且异质，无法直接被机器人执行。本文提出了InterMimicGen，一个自我演化的运动模仿框架，通过整合运动捕捉数据和跟踪策略相互提升。首先，我们将运动捕捉的人类与物体交互数据整合并重定向为人形机器人参考，保留全身协调性和灵巧的手-物体关系。其次，我们训练了一个基于物理的通用跟踪器，在仿真中执行这些参考，覆盖了比以往更广泛的运动范围。最后，通过数据飞轮的方式，每轮对交互的执行位置和身体表现进行小幅调整，保留成功完成任务的变体，逐步扩展运动资源。实验表明，该方法在机器人配置间保持接触、实现广泛跟踪，并在真实机器人上成功转移。
🔬 方法详解
问题定义：本文旨在解决人形机器人在运动模仿中面临的数据稀疏性和异质性问题，现有方法无法直接利用捕捉的人类交互数据进行有效的任务执行。
核心思路：InterMimicGen框架通过自我演化的方式，将运动捕捉数据与跟踪策略相结合，使得机器人能够在仿真中不断优化和扩展其运动模仿能力。
技术框架：该框架包括三个主要模块：首先是数据整合与重定向，将人类交互数据转化为机器人可执行的参考；其次是训练一个基于物理的通用跟踪器，在仿真中执行这些参考；最后是通过数据飞轮机制进行迭代优化，保留成功的运动变体。
关键创新：最重要的创新在于通过自我演化的方式实现数据的持续扩展，解决了传统方法中运动模仿数据稀疏的问题，使得机器人能够在多种任务中保持高效的运动执行。
关键设计：在设计中，采用了物理模拟来训练跟踪器，并通过小幅调整交互执行的方式来优化运动数据，确保任务语义和运动质量的保持。
🖼️ 关键图片
📊 实验亮点
实验结果表明，InterMimicGen在不同机器人配置下实现了接触保持的运动重定向，通用跟踪器覆盖了比以往更广泛的运动范围，且在多轮增强后，执行的动作持续增长，成功转移到真实机器人上，展示了显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业机器人以及人机协作等场景。通过不断扩展的运动资源，InterMimicGen能够提升机器人在复杂环境中的适应能力和执行效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Captured human-object interactions provide rich supervision for humanoid loco-manipulation, but they are sparse, heterogeneous, and not directly executable by robots. We introduce InterMimicGen, a self-evolving motion-imitation framework in which robot motion data and a tracking policy improve each other. First, we consolidate motion-captured human-object interaction datasets and retarget them into humanoid robot references while preserving whole-body coordination and dexterous hand-object relationships. This produces a large and diverse humanoid robot reference collection for dexterous whole-body loco-manipulation. Second, we train a physics-based generalist tracker that executes these references in simulation on a humanoid with dexterous hands, covering a scale and diversity beyond prior humanoid tracking systems for loco-manipulation. Third, we close a data flywheel: each round makes small, task-preserving changes to where an interaction takes place and how the body performs it, fine-tunes the tracker on them, and keeps only the variants whose simulated execution completes the task, which seed the next round. With more iterations, these small edits compound into broader coverage around the sparse original demonstrations while preserving task semantics and motion quality. Experiments show contact-preserving retargeting across robot configurations, broad tracking with a single generalist policy, executable motions that keep growing over augmentation rounds, and transfer to real robots. InterMimicGen provides a unified path from heterogeneous human demonstrations to a continually expanding motion resource for humanoid robot learning.