FlowMotion: Target-Predictive Conditional Flow Matching for Jitter-Reduced Text-Driven Human Motion Generation

📄 arXiv: 2504.01338v3 📥 PDF

作者: Manolo Canales Cuba, Vinícius do Carmo Melício, João Paulo Gois

分类: cs.GR, cs.LG

发布日期: 2025-04-02 (更新: 2025-04-25)

💡 一句话要点

FlowMotion：面向减少抖动的文本驱动人体运动生成，提出目标预测条件流匹配方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 文本驱动运动生成 条件流匹配 人体运动生成 减少抖动 时间平滑性 目标预测 3D人体运动 运动合成

📋 核心要点

  1. 现有3D人体运动生成方法难以兼顾高保真度和时序平滑性，尤其是在资源受限场景下，容易出现抖动。
  2. FlowMotion的核心在于利用条件流匹配（CFM），并设计新的训练目标，更精确地预测目标运动，提升生成质量。
  3. 实验表明，FlowMotion在KIT和HumanML3D数据集上取得了优异的抖动性能，同时保持了具有竞争力的FID值。

📝 摘要（中文）

在资源受限的环境中，实现高保真和时序平滑的3D人体运动生成仍然是一个挑战。本文提出了FlowMotion，一种利用条件流匹配（CFM）的新方法。FlowMotion在CFM中引入了一个训练目标，该目标专注于更准确地预测3D人体运动生成中的目标运动，从而在保持基于流匹配方法快速合成时间特性的同时，增强生成保真度和时间平滑性。FlowMotion实现了最先进的抖动性能，在KIT数据集中实现了最佳抖动，在HumanML3D数据集中实现了第二佳抖动，并在两个数据集中都实现了具有竞争力的FID值。这种组合提供了鲁棒和自然的运动序列，在生成质量和时间自然性之间提供了有希望的平衡。

🔬 方法详解

问题定义：现有文本驱动人体运动生成方法，尤其是在计算资源有限的情况下，难以同时保证生成运动的高保真度和时间上的平滑性。生成的运动序列容易出现抖动，影响视觉效果和自然度。因此，如何减少生成运动的抖动，同时保持较高的生成质量，是一个亟待解决的问题。

核心思路：FlowMotion的核心思路是利用条件流匹配（CFM）框架，并通过引入一个专注于更准确预测目标运动的训练目标来优化CFM。通过更精确地预测目标运动，可以有效地减少生成运动序列中的抖动，从而提高时间平滑性。这种方法旨在在生成质量和时间自然性之间找到一个平衡点。

技术框架：FlowMotion的整体框架基于条件流匹配（CFM）。CFM通过学习一个时间相关的向量场，将噪声分布映射到目标数据分布。FlowMotion的关键在于修改了CFM的训练目标，使其更加关注目标运动的预测。具体流程包括：1）输入文本描述；2）通过CFM生成运动序列；3）使用改进的训练目标优化CFM模型。

关键创新：FlowMotion最重要的技术创新点在于其改进的训练目标，该目标专注于更准确地预测目标运动。与传统的CFM方法不同，FlowMotion的训练目标更加强调对目标运动的精确预测，从而有效地减少了生成运动序列中的抖动。这种方法在保证生成质量的同时，显著提高了时间平滑性。

关键设计：FlowMotion的关键设计包括：1）目标预测损失函数：设计了一种新的损失函数，用于衡量预测的目标运动与真实目标运动之间的差异，并以此来优化CFM模型；2）网络结构：采用了适合人体运动生成的网络结构，例如Transformer或GCN等，用于学习文本描述和运动序列之间的映射关系；3）训练策略：采用了合适的训练策略，例如学习率调整、梯度裁剪等，以保证模型的稳定性和收敛性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FlowMotion在KIT数据集上取得了最佳的抖动性能，并在HumanML3D数据集上取得了第二佳的抖动性能。同时，FlowMotion在两个数据集上都实现了具有竞争力的FID值，表明其在生成质量和时间平滑性之间取得了良好的平衡。这些实验结果证明了FlowMotion在文本驱动人体运动生成方面的优越性。

🎯 应用场景

FlowMotion在虚拟现实、游戏开发、动画制作等领域具有广泛的应用前景。它可以根据文本描述自动生成自然流畅的人体运动，从而降低人工制作成本，提高内容生成效率。此外，该技术还可以应用于人机交互、康复训练等领域，为用户提供更加智能和个性化的服务。

📄 摘要（原文）

Achieving high-fidelity and temporally smooth 3D human motion generation remains a challenge, particularly within resource-constrained environments. We introduce FlowMotion, a novel method leveraging Conditional Flow Matching (CFM). FlowMotion incorporates a training objective within CFM that focuses on more accurately predicting target motion in 3D human motion generation, resulting in enhanced generation fidelity and temporal smoothness while maintaining the fast synthesis times characteristic of flow-matching-based methods. FlowMotion achieves state-of-the-art jitter performance, achieving the best jitter in the KIT dataset and the second-best jitter in the HumanML3D dataset, and a competitive FID value in both datasets. This combination provides robust and natural motion sequences, offering a promising equilibrium between generation quality and temporal naturalness.