MoReFlow: Motion Retargeting Learning through Unsupervised Flow Matching

📄 arXiv: 2509.25600v2 📥 PDF

作者: Wontaek Kim, Tianyu Li, Sehoon Ha

分类: cs.GR, cs.RO

发布日期: 2025-09-29 (更新: 2025-10-18)

💡 一句话要点

MoReFlow：通过无监督流匹配学习运动重定向，实现跨形态角色和机器人的灵活运动迁移

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting)

关键词: 运动重定向 流匹配 无监督学习 VQ-VAE 运动嵌入 机器人控制 动画制作

📋 核心要点

  1. 现有运动重定向方法依赖手工约束或配对数据，限制了其在复杂角色和任务上的应用，且缺乏领域特定目标的考虑。
  2. MoReFlow通过无监督流匹配学习角色运动嵌入空间的对应关系，无需配对数据即可实现灵活且可逆的重定向。
  3. 实验结果表明，MoReFlow在可控性、泛化性和运动真实感方面优于现有方法，能够生成高质量的运动。

📝 摘要（中文）

运动重定向旨在为具有不同形态的角色和机器人提供更广泛的运动数据。现有方法通常依赖于手工设计的约束或配对的运动数据集，限制了它们在类人角色或诸如移动等狭窄行为上的应用。此外，它们通常假设固定的重定向概念，忽略了特定领域的任务目标，例如动画中的风格保持或机器人技术中的任务空间对齐。本文提出了MoReFlow，一种通过流匹配进行运动重定向的无监督框架，用于学习角色运动嵌入空间之间的对应关系。该方法包括两个阶段：首先，使用VQ-VAE为每个角色训练token化的运动嵌入，产生紧凑的潜在表示；然后，采用带有条件耦合的流匹配来对齐角色间的潜在空间，同时学习条件和非条件匹配，以实现鲁棒而灵活的重定向。训练完成后，MoReFlow无需配对数据即可实现灵活且可逆的重定向。实验表明，与基线方法相比，MoReFlow可以在不同的角色和任务中生成高质量的运动，从而提供更好的可控性、泛化性和运动真实感。

🔬 方法详解

问题定义：运动重定向旨在将一个角色的运动迁移到另一个形态不同的角色上。现有方法主要依赖手工设计的约束或配对的运动数据，这限制了它们的应用范围，例如只能应用于类人角色或特定的运动类型（如行走）。此外，这些方法通常忽略了特定领域的任务目标，例如动画中的风格保持或机器人控制中的任务空间对齐。因此，需要一种更通用、灵活且无需配对数据的运动重定向方法。

核心思路：MoReFlow的核心思路是学习不同角色运动嵌入空间之间的对应关系，从而实现运动的迁移。它通过无监督的方式，利用流匹配技术，将不同角色的运动数据映射到统一的潜在空间中，从而建立起角色间的运动对应关系。这种方法无需配对数据，并且能够学习到更鲁棒和灵活的重定向策略。

技术框架：MoReFlow框架包含两个主要阶段：1) 运动嵌入学习：使用VQ-VAE为每个角色训练token化的运动嵌入，将原始运动数据压缩成紧凑的潜在表示。2) 潜在空间对齐：采用带有条件耦合的流匹配来对齐不同角色间的潜在空间。流匹配同时学习条件和非条件匹配，以实现鲁棒但灵活的重定向。训练完成后，可以直接使用学习到的映射关系进行运动重定向。

关键创新：MoReFlow的关键创新在于使用无监督流匹配来学习角色运动嵌入空间之间的对应关系。与现有方法相比，它无需配对数据，能够处理更复杂的角色和任务，并且能够学习到更鲁棒和灵活的重定向策略。此外，MoReFlow还考虑了特定领域的任务目标，例如动画中的风格保持和机器人控制中的任务空间对齐。

关键设计：VQ-VAE用于学习紧凑的运动嵌入表示，其量化过程能够有效提取运动的关键特征。流匹配采用条件耦合的方式，允许在重定向过程中考虑特定条件（例如目标角色的状态或任务目标）。损失函数的设计旨在最小化源角色和目标角色在潜在空间中的距离，同时保持运动的自然性和流畅性。具体的网络结构和参数设置需要根据具体的任务和数据集进行调整。

📊 实验亮点

实验结果表明，MoReFlow在多个运动重定向任务上取得了显著的性能提升。与基线方法相比，MoReFlow能够生成更高质量的运动，具有更好的可控性、泛化性和运动真实感。例如，在跨物种的运动重定向任务中，MoReFlow能够成功地将人类的运动迁移到四足机器人身上，并且保持了运动的自然性和流畅性。具体的性能指标（如运动相似度、任务完成率等）在论文中有详细的量化分析。

🎯 应用场景

MoReFlow具有广泛的应用前景，包括动画制作、游戏开发、机器人控制等领域。它可以用于快速生成不同角色的运动数据，提高动画制作效率。在游戏开发中，可以用于实现角色之间的运动迁移和互动。在机器人控制领域，可以用于将人类的运动技能迁移到机器人身上，实现更自然和高效的人机交互。未来，MoReFlow可以进一步扩展到更多领域，例如虚拟现实和增强现实。

📄 摘要（原文）

Motion retargeting holds a premise of offering a larger set of motion data for characters and robots with different morphologies. Many prior works have approached this problem via either handcrafted constraints or paired motion datasets, limiting their applicability to humanoid characters or narrow behaviors such as locomotion. Moreover, they often assume a fixed notion of retargeting, overlooking domain-specific objectives like style preservation in animation or task-space alignment in robotics. In this work, we propose MoReFlow, Motion Retargeting via Flow Matching, an unsupervised framework that learns correspondences between characters' motion embedding spaces. Our method consists of two stages. First, we train tokenized motion embeddings for each character using a VQ-VAE, yielding compact latent representations. Then, we employ flow matching with conditional coupling to align the latent spaces across characters, which simultaneously learns conditioned and unconditioned matching to achieve robust but flexible retargeting. Once trained, MoReFlow enables flexible and reversible retargeting without requiring paired data. Experiments demonstrate that MoReFlow produces high-quality motions across diverse characters and tasks, offering improved controllability, generalization, and motion realism compared to the baselines.