MoReFlow: Motion Retargeting Learning through Unsupervised Flow Matching

📄 arXiv: 2509.25600v2 📥 PDF

作者: Wontaek Kim, Tianyu Li, Sehoon Ha

分类: cs.GR, cs.RO

发布日期: 2025-09-29 (更新: 2025-10-18)

💡 一句话要点

MoReFlow：通过无监督流匹配学习运动重定向，提升泛化性和可控性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting)

关键词: 运动重定向 无监督学习 流匹配 VQ-VAE 运动嵌入 机器人控制 动画制作

📋 核心要点

  1. 现有运动重定向方法依赖手工约束或配对数据，泛化性差，且忽略了特定领域的重定向目标。
  2. MoReFlow通过无监督流匹配学习角色运动嵌入空间的对应关系，实现灵活且可逆的运动重定向。
  3. 实验表明，MoReFlow在可控性、泛化性和运动真实感方面优于现有方法，能生成高质量运动。

📝 摘要（中文）

运动重定向旨在为具有不同形态的角色和机器人提供更广泛的运动数据。现有方法通常依赖于手工约束或配对运动数据集，限制了其在人形角色或狭窄行为（如运动）上的应用。此外，它们通常假设固定的重定向概念，忽略了特定领域的任务目标，如动画中的风格保持或机器人中的任务空间对齐。本文提出了MoReFlow，一种基于流匹配的运动重定向无监督框架，通过学习角色运动嵌入空间之间的对应关系来实现运动重定向。该方法包含两个阶段：首先，使用VQ-VAE为每个角色训练token化的运动嵌入，产生紧凑的潜在表示。然后，采用带有条件耦合的流匹配来对齐角色间的潜在空间，同时学习条件和无条件匹配，以实现鲁棒而灵活的重定向。训练完成后，MoReFlow无需配对数据即可实现灵活且可逆的重定向。实验表明，MoReFlow能够跨不同角色和任务生成高质量的运动，与基线方法相比，在可控性、泛化性和运动真实感方面均有所提高。

🔬 方法详解

问题定义：运动重定向旨在将一个角色的运动迁移到另一个形态不同的角色上。现有方法的痛点在于：依赖手工设计的约束，难以泛化到不同形态的角色和复杂的运动；需要配对的运动数据，获取成本高昂；缺乏对特定领域目标的考虑，例如动画风格的保持或机器人任务空间的对齐。

核心思路：MoReFlow的核心思路是学习不同角色运动嵌入空间之间的对应关系。通过将运动映射到低维潜在空间，并利用流匹配技术对齐这些潜在空间，从而实现运动的迁移。这种方法无需配对数据，并且能够学习到更加灵活和通用的运动重定向策略。

技术框架：MoReFlow包含两个主要阶段：1) 运动嵌入学习：使用VQ-VAE为每个角色训练token化的运动嵌入，将原始运动数据压缩成紧凑的潜在表示。2) 潜在空间对齐：采用带有条件耦合的流匹配方法，对齐不同角色的潜在空间。流匹配同时学习条件和无条件匹配，以增强重定向的鲁棒性和灵活性。训练完成后，即可通过在潜在空间中进行运动迁移，再解码回原始运动空间，实现运动重定向。

关键创新：MoReFlow的关键创新在于：1) 提出了一种无监督的运动重定向框架，无需配对数据即可学习运动迁移策略。2) 使用流匹配技术对齐运动嵌入空间，能够学习到更加灵活和通用的运动重定向策略。3) 考虑了条件和无条件匹配，增强了重定向的鲁棒性和灵活性。

关键设计：VQ-VAE用于学习紧凑的运动潜在表示，其量化层将连续的潜在空间离散化，有助于学习更稳定的运动表示。流匹配采用条件耦合，允许在匹配过程中引入额外的条件信息，例如目标角色的形态或运动风格。损失函数包括流匹配损失和重构损失，前者用于对齐潜在空间，后者用于保证重构运动的质量。具体的网络结构和参数设置未在论文中详细说明，属于实现细节，可能需要参考代码或补充材料。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，MoReFlow在运动重定向任务中取得了显著的性能提升。与基线方法相比，MoReFlow能够生成更高质量、更真实的运动，并且具有更好的可控性和泛化性。具体的性能数据和提升幅度未在摘要中给出，需要在论文正文中查找。

🎯 应用场景

MoReFlow在动画制作、游戏开发和机器人控制等领域具有广泛的应用前景。它可以用于快速生成不同角色的运动动画，提高动画制作效率。在游戏中，它可以用于实现角色运动的自适应和个性化。在机器人控制领域，它可以用于将人类的运动技能迁移到机器人身上，实现更自然和高效的机器人控制。

📄 摘要（原文）

Motion retargeting holds a premise of offering a larger set of motion data for characters and robots with different morphologies. Many prior works have approached this problem via either handcrafted constraints or paired motion datasets, limiting their applicability to humanoid characters or narrow behaviors such as locomotion. Moreover, they often assume a fixed notion of retargeting, overlooking domain-specific objectives like style preservation in animation or task-space alignment in robotics. In this work, we propose MoReFlow, Motion Retargeting via Flow Matching, an unsupervised framework that learns correspondences between characters' motion embedding spaces. Our method consists of two stages. First, we train tokenized motion embeddings for each character using a VQ-VAE, yielding compact latent representations. Then, we employ flow matching with conditional coupling to align the latent spaces across characters, which simultaneously learns conditioned and unconditioned matching to achieve robust but flexible retargeting. Once trained, MoReFlow enables flexible and reversible retargeting without requiring paired data. Experiments demonstrate that MoReFlow produces high-quality motions across diverse characters and tasks, offering improved controllability, generalization, and motion realism compared to the baselines.