Mogo: RQ Hierarchical Causal Transformer for High-Quality 3D Human Motion Generation

📄 arXiv: 2412.07797v1 📥 PDF

作者: Dongjie Fu

分类: cs.CV

发布日期: 2024-12-05

💡 一句话要点

提出Mogo：一种基于分层因果Transformer的高质量3D人体运动生成模型

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 文本到运动生成 3D人体运动 Transformer 自回归模型 残差学习 向量量化 分层模型

📋 核心要点

  1. 现有Bert型模型在文本到运动生成中质量较高，但缺乏流式输出能力，且泛化性较弱。
  2. Mogo采用GPT型结构，通过RVQ-VAE离散化运动序列，并使用分层因果Transformer自回归生成和推断残差。
  3. 实验表明，Mogo在运动质量、生成长度和分布外生成方面均优于现有模型，FID得分更低。

📝 摘要（中文）

本文提出了一种名为Mogo（Motion Only Generate Once）的新型架构，用于生成高质量、逼真的3D人体运动。Mogo通过训练单个Transformer模型，在利用GPT型结构的同时，超越了BERT型模型的质量。该模型由两个主要组件构成：1) RVQ-VAE，一种分层残差向量量化变分自编码器，用于高精度地离散化连续运动序列；2) 分层因果Transformer，负责以自回归方式生成基本运动序列，同时推断不同层之间的残差。实验结果表明，Mogo能够生成长达260帧（13秒）的连续和循环运动序列，突破了现有数据集（如HumanML3D）的196帧（10秒）长度限制。在HumanML3D测试集上，Mogo的FID得分为0.079，优于GPT型模型T2M-GPT（FID = 0.116）、AttT2M（FID = 0.112）和BERT型模型MMM（FID = 0.080）。此外，该模型在分布外生成方面也取得了最佳的定量性能。

🔬 方法详解

问题定义：现有文本到运动生成模型，如BERT型模型（MoMask, MMM），虽然生成质量较高，但缺乏GPT型模型固有的流式输出能力，这限制了它们在视频游戏和多媒体环境中的应用。此外，这些模型在分布外生成方面表现较弱。因此，需要一种既能保持GPT型模型的优势，又能超越BERT型模型生成质量的方法。

核心思路：Mogo的核心思路是利用GPT型Transformer的自回归生成能力，同时通过分层结构和残差学习来提高生成质量。通过RVQ-VAE将连续运动序列离散化，使得Transformer能够处理离散的运动表示。分层因果Transformer则负责自回归地生成基本运动序列，并同时推断不同层之间的残差，从而提升运动的细节和真实感。

技术框架：Mogo的整体架构包含两个主要模块：RVQ-VAE和分层因果Transformer。首先，RVQ-VAE将连续的3D人体运动序列编码为离散的表示。然后，分层因果Transformer以自回归的方式生成这些离散的运动表示，并在不同层之间进行残差推断。最终，生成的离散表示被解码回连续的3D人体运动序列。

关键创新：Mogo的关键创新在于其分层残差学习机制。通过在Transformer的不同层之间推断残差，模型能够更好地捕捉运动序列中的细节和细微变化，从而生成更逼真、更自然的运动。这种分层残差学习机制与传统的自回归生成方法不同，后者通常只关注当前时刻的运动状态，而忽略了不同时间步之间的依赖关系。

关键设计：RVQ-VAE采用分层结构，将运动序列逐步分解为更小的单元，从而实现高精度的离散化。分层因果Transformer使用因果注意力机制，确保模型只能依赖于过去的信息进行生成。损失函数包括重构损失、量化损失和对抗损失，用于优化RVQ-VAE和Transformer的性能。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Mogo在HumanML3D测试集上取得了显著的性能提升，FID得分为0.079，优于T2M-GPT（0.116）、AttT2M（0.112）和MMM（0.080）。此外，Mogo能够生成长达260帧的运动序列，突破了现有数据集的长度限制。在分布外生成方面，Mogo也取得了最佳的定量性能，表明其具有更好的泛化能力。

🎯 应用场景

Mogo的潜在应用领域包括视频游戏开发、虚拟现实、动画制作和人机交互等。它可以用于生成逼真的人体运动，从而增强虚拟角色的真实感和互动性。此外，Mogo还可以用于生成定制化的运动序列，以满足不同用户的需求。该研究的未来影响在于推动了文本到运动生成技术的发展，并为相关应用提供了更强大的工具。

📄 摘要（原文）

In the field of text-to-motion generation, Bert-type Masked Models (MoMask, MMM) currently produce higher-quality outputs compared to GPT-type autoregressive models (T2M-GPT). However, these Bert-type models often lack the streaming output capability required for applications in video game and multimedia environments, a feature inherent to GPT-type models. Additionally, they demonstrate weaker performance in out-of-distribution generation. To surpass the quality of BERT-type models while leveraging a GPT-type structure, without adding extra refinement models that complicate scaling data, we propose a novel architecture, Mogo (Motion Only Generate Once), which generates high-quality lifelike 3D human motions by training a single transformer model. Mogo consists of only two main components: 1) RVQ-VAE, a hierarchical residual vector quantization variational autoencoder, which discretizes continuous motion sequences with high precision; 2) Hierarchical Causal Transformer, responsible for generating the base motion sequences in an autoregressive manner while simultaneously inferring residuals across different layers. Experimental results demonstrate that Mogo can generate continuous and cyclic motion sequences up to 260 frames (13 seconds), surpassing the 196 frames (10 seconds) length limitation of existing datasets like HumanML3D. On the HumanML3D test set, Mogo achieves a FID score of 0.079, outperforming both the GPT-type model T2M-GPT (FID = 0.116), AttT2M (FID = 0.112) and the BERT-type model MMM (FID = 0.080). Furthermore, our model achieves the best quantitative performance in out-of-distribution generation.