T2M-HiFiGPT: Generating High Quality Human Motion from Textual Descriptions with Residual Discrete Representations

📄 arXiv: 2312.10628v2 📥 PDF

作者: Congyi Wang

分类: cs.CV

发布日期: 2023-12-17 (更新: 2023-12-24)

备注: arXiv admin note: text overlap with arXiv:2301.06052 by other authors

💡 一句话要点

T2M-HiFiGPT：利用残差离散表示，从文本描述生成高质量人体运动

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 文本到运动生成 人体运动合成 残差向量量化 生成预训练Transformer 离散表示学习

📋 核心要点

  1. 现有文本到人体运动生成方法在捕捉运动细节和生成高质量运动方面存在挑战，尤其是在长序列生成中。
  2. T2M-HiFiGPT利用RVQ-VAE学习运动数据的离散表示，并使用双层GPT架构建模时间依赖性和残差信息，从而提升生成质量。
  3. 实验结果表明，T2M-HiFiGPT在HumanML3D和KIT-ML数据集上显著优于现有方法，尤其是在运动准确性和参数效率方面。

📝 摘要（中文）

本研究提出了一种新颖的条件生成框架T2M-HiFiGPT，用于从文本描述中合成人体运动。该框架基于残差向量量化变分自编码器（RVQ-VAE）和双层生成预训练Transformer（GPT）架构。实验表明，我们基于CNN的RVQ-VAE能够生成高度精确的2D时间残差离散运动表示。我们提出的双层GPT结构包括一个时间GPT和一个残差GPT。时间GPT有效地将来自先前帧和文本描述的信息压缩成一个1D上下文向量。然后，该向量作为残差GPT的上下文提示，残差GPT生成最终的残差离散索引。这些索引随后通过RVQ-VAE解码器转换回运动数据。为了缓解暴露偏差问题，我们采用了简单的RVQ代码损坏技术和条件dropout策略，从而提高了合成性能。值得注意的是，T2M-HiFiGPT不仅简化了生成过程，而且在性能和参数效率方面都超过了现有的方法，包括最新的基于扩散和基于GPT的模型。在HumanML3D和KIT-ML数据集上，我们的框架在几乎所有主要指标上都取得了卓越的成果。我们还通过对HumanML3D数据集进行全面的消融研究，验证了我们框架的有效性，考察了每个组件的贡献。我们的研究结果表明，与VQ-VAE相比，RVQ-VAE更擅长以相当的计算需求捕获精确的3D人体运动。因此，T2M-HiFiGPT能够生成具有显著提高的准确性的人体运动，优于最近最先进的方法，如T2M-GPT和Att-T2M。

🔬 方法详解

问题定义：现有文本到人体运动生成方法难以生成高质量、细节丰富的运动序列，尤其是在处理长文本描述时，容易出现运动模糊、不自然等问题。现有的基于扩散模型和GPT的模型虽然取得了一定的进展，但仍然存在参数量大、计算复杂度高的问题。

核心思路：论文的核心思路是利用残差向量量化变分自编码器（RVQ-VAE）学习运动数据的离散表示，并使用双层GPT架构建模运动的时间依赖性和残差信息。通过离散化运动数据，可以简化生成过程，并提高生成运动的质量。双层GPT架构可以有效地捕捉运动的时间上下文信息，并生成更准确的残差运动表示。

技术框架：T2M-HiFiGPT的整体架构包括三个主要模块：RVQ-VAE编码器、双层GPT和RVQ-VAE解码器。首先，RVQ-VAE编码器将原始运动数据编码成离散的运动表示。然后，双层GPT（包括时间GPT和残差GPT）根据文本描述和先前帧的运动信息生成残差离散索引。最后，RVQ-VAE解码器将残差离散索引解码成最终的运动数据。

关键创新：该论文的关键创新在于以下几点：1) 提出了基于CNN的RVQ-VAE，能够生成高度精确的2D时间残差离散运动表示。2) 设计了双层GPT结构，包括时间GPT和残差GPT，可以有效地建模运动的时间依赖性和残差信息。3) 采用了代码损坏技术和条件dropout策略，缓解了暴露偏差问题，提高了生成性能。与现有方法相比，T2M-HiFiGPT在参数效率和生成质量方面都具有优势。

关键设计：RVQ-VAE使用了多层CNN进行编码和解码，并通过残差量化来提高量化精度。时间GPT使用Transformer架构建模时间依赖性，并使用文本描述作为条件输入。残差GPT也使用Transformer架构，并以时间GPT的输出作为上下文提示。代码损坏技术通过随机替换RVQ的离散码本来增加模型的鲁棒性。条件dropout策略在训练过程中随机丢弃一部分输入，以缓解暴露偏差问题。

📊 实验亮点

T2M-HiFiGPT在HumanML3D和KIT-ML数据集上取得了显著的成果，在几乎所有主要指标上都优于现有的方法，包括T2M-GPT和Att-T2M等最先进的模型。消融实验表明，RVQ-VAE能够以相当的计算需求捕获精确的3D人体运动，并且双层GPT架构和代码损坏技术能够有效地提高生成性能。

🎯 应用场景

T2M-HiFiGPT具有广泛的应用前景，例如虚拟现实、游戏开发、动画制作、机器人控制等领域。它可以根据文本描述自动生成逼真的人体运动，从而简化内容创作流程，提高效率。此外，该技术还可以用于训练机器人模仿人类动作，提高机器人的智能化水平。

📄 摘要（原文）

In this study, we introduce T2M-HiFiGPT, a novel conditional generative framework for synthesizing human motion from textual descriptions. This framework is underpinned by a Residual Vector Quantized Variational AutoEncoder (RVQ-VAE) and a double-tier Generative Pretrained Transformer (GPT) architecture. We demonstrate that our CNN-based RVQ-VAE is capable of producing highly accurate 2D temporal-residual discrete motion representations. Our proposed double-tier GPT structure comprises a temporal GPT and a residual GPT. The temporal GPT efficiently condenses information from previous frames and textual descriptions into a 1D context vector. This vector then serves as a context prompt for the residual GPT, which generates the final residual discrete indices. These indices are subsequently transformed back into motion data by the RVQ-VAE decoder. To mitigate the exposure bias issue, we employ straightforward code corruption techniques for RVQ and a conditional dropout strategy, resulting in enhanced synthesis performance. Remarkably, T2M-HiFiGPT not only simplifies the generative process but also surpasses existing methods in both performance and parameter efficacy, including the latest diffusion-based and GPT-based models. On the HumanML3D and KIT-ML datasets, our framework achieves exceptional results across nearly all primary metrics. We further validate the efficacy of our framework through comprehensive ablation studies on the HumanML3D dataset, examining the contribution of each component. Our findings reveal that RVQ-VAE is more adept at capturing precise 3D human motion with comparable computational demand compared to its VQ-VAE counterparts. As a result, T2M-HiFiGPT enables the generation of human motion with significantly increased accuracy, outperforming recent state-of-the-art approaches such as T2M-GPT and Att-T2M.