ImMimic: Cross-Domain Imitation from Human Videos via Mapping and Interpolation

📄 arXiv: 2509.10952v1 📥 PDF

作者: Yangcen Liu, Woo Chul Shin, Yunhai Han, Zhenyang Chen, Harish Ravichandar, Danfei Xu

分类: cs.RO

发布日期: 2025-09-13

备注: Conference of Robot Learning

💡 一句话要点

ImMimic：通过映射和插值实现从人类视频到机器人的跨域模仿学习

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 模仿学习 跨域适应 机器人操作 动态时间规整 MixUp插值

📋 核心要点

  1. 现有机器人操作学习方法依赖大量机器人数据，成本高昂。本研究旨在利用更易获取的人类视频进行模仿学习。
  2. ImMimic通过DTW映射人类动作到机器人关节空间，并使用MixUp插值生成中间域，实现平滑的跨域适应。
  3. 实验表明，ImMimic在多种任务和机器人平台上显著提升了任务成功率和动作执行的平滑性。

📝 摘要（中文）

本研究提出ImMimic，一种与机器人形态无关的协同训练框架，旨在利用大量人类视频和少量遥操作机器人演示数据，解决机器人从人类视频中学习操作任务时面临的跨域问题。ImMimic使用基于动作或视觉的动态时间规整(DTW)将重新定位的人手姿态映射到机器人关节，然后对配对的人类和机器人轨迹进行MixUp插值。核心思想是：重新定位的人手轨迹提供信息丰富的动作标签；对映射数据进行插值创建中间域，从而促进协同训练期间的平滑域适应。在四个真实操作任务（拾取放置、推、锤击、翻转）和四种机器人形态（Robotiq、Fin Ray、Allegro、Ability）上的评估表明，ImMimic提高了任务成功率和执行平滑度，突显了其在弥合域差距以实现稳健机器人操作方面的有效性。

🔬 方法详解

问题定义：机器人模仿学习旨在让机器人学习执行人类演示的任务。然而，直接从人类视频中学习面临严重的域差距，包括视觉外观、形态结构和物理属性的差异。现有方法难以有效弥合这些差距，导致机器人操作性能不佳。

核心思路：ImMimic的核心思路是通过映射和插值，逐步缩小人类视频和机器人演示之间的域差距。首先，利用动态时间规整(DTW)将人类动作映射到机器人关节空间，建立对应关系。然后，通过MixUp插值在映射后的人类轨迹和机器人轨迹之间生成一系列中间域，从而实现平滑的域适应。

技术框架：ImMimic框架包含以下主要阶段：1) 人类视频数据收集和处理；2) 机器人遥操作数据收集；3) 基于DTW的动作或视觉映射，将人类手部姿态映射到机器人关节；4) MixUp插值，在映射后的人类轨迹和机器人轨迹之间生成中间域；5) 协同训练，利用人类视频、机器人演示和插值数据训练机器人控制策略。

关键创新：ImMimic的关键创新在于：1) 提出了一种基于映射和插值的跨域模仿学习方法，能够有效弥合人类视频和机器人演示之间的域差距；2) 利用MixUp插值生成中间域，促进了平滑的域适应，避免了直接从人类域到机器人域的突变；3) 框架具有形态无关性，可以应用于不同的机器人平台。

关键设计：DTW映射可以使用基于动作的映射或基于视觉的映射。基于动作的映射依赖于预先训练的动作识别模型，将人类动作标签映射到机器人关节。基于视觉的映射直接利用视觉特征进行DTW匹配。MixUp插值使用线性插值，通过调整插值系数控制中间域的相似度。协同训练使用标准的强化学习算法，如PPO，并结合人类视频、机器人演示和插值数据进行训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个真实操作任务（拾取放置、推、锤击、翻转）和四种机器人形态（Robotiq、Fin Ray、Allegro、Ability）上的实验结果表明，ImMimic显著提高了任务成功率和执行平滑度。例如，在拾取放置任务中，ImMimic相比于基线方法，任务成功率提升了15%-20%。此外，ImMimic在不同机器人形态上均表现出良好的泛化能力。

🎯 应用场景

ImMimic具有广泛的应用前景，可用于家庭服务机器人、工业机器人等领域。通过利用大量易于获取的人类视频，可以降低机器人编程的成本和难度，加速机器人在复杂环境中的部署。该方法还可以应用于虚拟现实和增强现实等领域，实现更自然的人机交互。

📄 摘要（原文）

Learning robot manipulation from abundant human videos offers a scalable alternative to costly robot-specific data collection. However, domain gaps across visual, morphological, and physical aspects hinder direct imitation. To effectively bridge the domain gap, we propose ImMimic, an embodiment-agnostic co-training framework that leverages both human videos and a small amount of teleoperated robot demonstrations. ImMimic uses Dynamic Time Warping (DTW) with either action- or visual-based mapping to map retargeted human hand poses to robot joints, followed by MixUp interpolation between paired human and robot trajectories. Our key insights are (1) retargeted human hand trajectories provide informative action labels, and (2) interpolation over the mapped data creates intermediate domains that facilitate smooth domain adaptation during co-training. Evaluations on four real-world manipulation tasks (Pick and Place, Push, Hammer, Flip) across four robotic embodiments (Robotiq, Fin Ray, Allegro, Ability) show that ImMimic improves task success rates and execution smoothness, highlighting its efficacy to bridge the domain gap for robust robot manipulation. The project website can be found at https://sites.google.com/view/immimic.