MotionCraft: Crafting Whole-Body Motion with Plug-and-Play Multimodal Controls

📄 arXiv: 2407.21136v3 📥 PDF

作者: Yuxuan Bian, Ailing Zeng, Xuan Ju, Xian Liu, Zhaoyang Zhang, Wei Liu, Qiang Xu

分类: cs.CV

发布日期: 2024-07-30 (更新: 2024-08-25)

💡 一句话要点

MotionCraft：提出一种即插即用的多模态控制全身运动生成框架。

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 全身运动生成 多模态控制 扩散Transformer SMPL-X 人体拓扑图 粗到精训练 MC-Attn MC-Bench

📋 核心要点

  1. 现有方法难以统一处理文本、语音等多种模态控制的全身运动生成任务，存在运动分布漂移和混合条件优化困难等挑战。
  2. MotionCraft采用粗到精的训练策略，先进行文本到运动的语义预训练，再进行多模态低级控制适应，以应对不同粒度的条件。
  3. 论文提出了MC-Attn用于建模人体拓扑图，并构建了基于SMPL-X格式的MC-Bench基准，实验表明MotionCraft达到了SOTA性能。

📝 摘要（中文）

全身多模态运动生成，受文本、语音或音乐控制，在视频生成和角色动画等领域有广泛应用。然而，使用统一模型实现不同条件模态的生成任务面临两大挑战：不同任务间的运动分布漂移（如语音同步手势和文本驱动的日常动作）以及不同粒度混合条件（如文本和音频）的复杂优化。此外，不同任务和数据集间不一致的运动格式阻碍了多模态运动生成的有效训练。本文提出了MotionCraft，一个统一的扩散Transformer，通过即插即用的多模态控制来生成全身运动。该框架采用粗到精的训练策略，首先进行文本到运动的语义预训练，然后进行多模态低级控制适应，以处理不同粒度的条件。为了有效地学习和迁移不同分布的运动知识，我们设计了MC-Attn，用于并行建模静态和动态的人体拓扑图。为了克服现有基准测试中运动格式的不一致性，我们引入了MC-Bench，这是第一个基于统一SMPL-X格式的多模态全身运动生成基准。大量实验表明，MotionCraft在各种标准运动生成任务上实现了最先进的性能。

🔬 方法详解

问题定义：论文旨在解决多模态全身运动生成问题，即根据文本、语音、音乐等多种模态的输入，生成逼真自然的全身运动。现有方法通常针对特定模态或任务设计，难以泛化到多种模态，且存在运动分布漂移和混合条件优化困难的问题。此外，不同数据集的运动格式不一致也阻碍了模型的训练。

核心思路：MotionCraft的核心思路是采用一个统一的扩散Transformer模型，通过粗到精的训练策略和特定的注意力机制，实现即插即用的多模态控制。通过语义预训练和低级控制适应，模型能够学习不同模态之间的关联，并生成高质量的全身运动。

技术框架：MotionCraft框架包含两个主要阶段：1) 文本到运动的语义预训练：使用文本数据预训练模型，使其学习运动的语义表示。2) 多模态低级控制适应：使用多模态数据（文本、语音、音乐等）微调模型，使其能够根据不同的模态生成相应的运动。框架使用扩散Transformer作为核心生成模型，并引入了MC-Attn模块。

关键创新：MotionCraft的关键创新在于：1) 统一的扩散Transformer模型，能够处理多种模态的输入。2) 粗到精的训练策略，能够有效地学习不同模态之间的关联。3) MC-Attn模块，能够并行建模静态和动态的人体拓扑图，从而更好地捕捉运动的细节。4) MC-Bench基准，提供了一个统一的SMPL-X格式的多模态全身运动生成数据集。

关键设计：MC-Attn模块是关键设计之一，它通过并行建模静态和动态的人体拓扑图，捕捉运动的细节。具体的实现方式未知，论文中可能包含更详细的描述。损失函数的设计也至关重要，需要平衡不同模态之间的影响，并保证生成运动的自然性和逼真度。扩散Transformer的具体参数设置也需要根据数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MotionCraft在多个标准运动生成任务上取得了SOTA性能。具体的数据和对比基线未知，但论文强调了在各种任务上的优越性。MC-Bench基准的发布也为多模态运动生成领域的研究提供了新的资源。

🎯 应用场景

MotionCraft具有广泛的应用前景，包括视频游戏、虚拟现实、电影制作、角色动画等领域。它可以用于生成逼真自然的虚拟角色运动，提高用户体验。此外，MotionCraft还可以用于辅助运动康复，例如通过语音或文本指令引导患者进行运动训练。该研究的未来影响在于推动多模态运动生成技术的发展，并促进其在各个领域的应用。

📄 摘要（原文）

Whole-body multimodal motion generation, controlled by text, speech, or music, has numerous applications including video generation and character animation. However, employing a unified model to achieve various generation tasks with different condition modalities presents two main challenges: motion distribution drifts across different tasks (e.g., co-speech gestures and text-driven daily actions) and the complex optimization of mixed conditions with varying granularities (e.g., text and audio). Additionally, inconsistent motion formats across different tasks and datasets hinder effective training toward multimodal motion generation. In this paper, we propose MotionCraft, a unified diffusion transformer that crafts whole-body motion with plug-and-play multimodal control. Our framework employs a coarse-to-fine training strategy, starting with the first stage of text-to-motion semantic pre-training, followed by the second stage of multimodal low-level control adaptation to handle conditions of varying granularities. To effectively learn and transfer motion knowledge across different distributions, we design MC-Attn for parallel modeling of static and dynamic human topology graphs. To overcome the motion format inconsistency of existing benchmarks, we introduce MC-Bench, the first available multimodal whole-body motion generation benchmark based on the unified SMPL-X format. Extensive experiments show that MotionCraft achieves state-of-the-art performance on various standard motion generation tasks.