Motion Flow Matching for Human Motion Synthesis and Editing

📄 arXiv: 2312.08895v1 📥 PDF

作者: Vincent Tao Hu, Wenzhe Yin, Pingchuan Ma, Yunlu Chen, Basura Fernando, Yuki M Asano, Efstratios Gavves, Pascal Mettes, Bjorn Ommer, Cees G. M. Snoek

分类: cs.CV

发布日期: 2023-12-14

备注: WIP

💡 一句话要点

提出Motion Flow Matching，加速人体运动合成与编辑，提升采样效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 人体运动合成 运动编辑 生成模型 扩散模型 常微分方程 运动流匹配 高效采样

📋 核心要点

  1. 现有基于扩散模型或GPT的方法在人体运动合成中存在采样速度慢和误差累积的问题。
  2. 论文提出Motion Flow Matching，通过ODE风格的生成模型实现高效采样和运动编辑。
  3. 实验结果表明，该方法在文本到运动和动作到运动生成任务中性能可比，并在KIT-ML数据集上取得了新的SOTA。

📝 摘要（中文）

人体运动合成是计算机动画中的一项基础任务。最近基于扩散模型或GPT结构的方法表现出色，但在采样速度慢和误差累积方面存在不足。本文提出了一种名为Motion Flow Matching的新型生成模型，专为人体运动生成而设计，具有高效采样和运动编辑的有效性。我们的方法将采样复杂度从先前扩散模型的数千步降低到仅十步，同时在文本到运动和动作到运动生成基准测试中实现了可比的性能。值得注意的是，我们的方法在KIT-ML数据集上建立了新的最先进的Fréchet Inception Distance。此外，我们定制了一种直接的运动编辑范例，名为采样轨迹重写，利用ODE风格的生成模型，并将其应用于各种编辑场景，包括运动预测、运动中间预测、运动插值和上半身编辑。我们的代码将被发布。

🔬 方法详解

问题定义：现有的人体运动合成方法，特别是基于扩散模型的方法，需要大量的采样步骤（通常是数千步），导致生成速度慢。此外，这些方法在长序列生成中容易出现误差累积，影响生成质量。因此，如何提高采样效率并减少误差累积是亟待解决的问题。

核心思路：Motion Flow Matching的核心思路是利用常微分方程（ODE）来建模运动轨迹的生成过程。通过学习一个连续的运动流场，可以将随机噪声逐步转化为目标运动序列。与扩散模型相比，ODE求解器可以使用较少的步骤来逼近连续轨迹，从而显著提高采样效率。此外，通过对ODE轨迹进行编辑，可以实现灵活的运动编辑功能。

技术框架：Motion Flow Matching的整体框架包括以下几个主要模块：1) 运动流场学习模块：该模块使用神经网络学习一个从噪声到运动数据的连续映射，即运动流场。2) ODE求解器：该模块使用数值方法（如Runge-Kutta方法）求解ODE，将随机噪声逐步转化为运动序列。3) 采样轨迹重写模块：该模块允许用户对ODE轨迹进行编辑，从而实现各种运动编辑功能。

关键创新：Motion Flow Matching的关键创新在于使用ODE来建模运动生成过程，从而实现高效采样和灵活的运动编辑。与传统的扩散模型相比，该方法将采样步骤从数千步减少到仅十步，显著提高了生成速度。此外，通过采样轨迹重写，可以实现各种运动编辑功能，如运动预测、运动插值和上半身编辑。

关键设计：在运动流场学习模块中，论文使用了一种基于Transformer的网络结构来建模运动序列的时序依赖关系。损失函数包括运动匹配损失和速度匹配损失，用于约束学习到的运动流场。在ODE求解器中，论文使用了四阶Runge-Kutta方法来逼近ODE轨迹。在采样轨迹重写模块中，用户可以通过指定关键帧或修改运动速度来编辑ODE轨迹。

📊 实验亮点

Motion Flow Matching在KIT-ML数据集上取得了新的SOTA Fréchet Inception Distance (FID)，表明其生成的人体运动具有更高的真实性和多样性。此外，该方法将采样步骤从扩散模型的数千步减少到仅十步，显著提高了生成速度，同时保持了与现有方法相当的性能。运动编辑实验展示了该方法在运动预测、运动插值和上半身编辑等任务中的有效性。

🎯 应用场景

Motion Flow Matching在游戏开发、虚拟现实、电影制作等领域具有广泛的应用前景。它可以用于快速生成逼真的人体运动动画，例如角色行走、跑步、跳跃等。此外，该方法还可以用于运动捕捉数据的修复和编辑，以及生成新的运动变体。通过运动编辑功能，可以实现对角色运动的精细控制，从而提高动画制作的效率和质量。

📄 摘要（原文）

Human motion synthesis is a fundamental task in computer animation. Recent methods based on diffusion models or GPT structure demonstrate commendable performance but exhibit drawbacks in terms of slow sampling speeds and error accumulation. In this paper, we propose \emph{Motion Flow Matching}, a novel generative model designed for human motion generation featuring efficient sampling and effectiveness in motion editing applications. Our method reduces the sampling complexity from thousand steps in previous diffusion models to just ten steps, while achieving comparable performance in text-to-motion and action-to-motion generation benchmarks. Noticeably, our approach establishes a new state-of-the-art Fréchet Inception Distance on the KIT-ML dataset. What is more, we tailor a straightforward motion editing paradigm named \emph{sampling trajectory rewriting} leveraging the ODE-style generative models and apply it to various editing scenarios including motion prediction, motion in-between prediction, motion interpolation, and upper-body editing. Our code will be released.