Shape My Moves: Text-Driven Shape-Aware Synthesis of Human Motions
作者: Ting-Hsuan Liao, Yi Zhou, Yu Shen, Chun-Hao Paul Huang, Saayan Mitra, Jia-Bin Huang, Uttaran Bhattacharya
分类: cs.CV
发布日期: 2025-04-04
备注: CVPR 2025. Project page: https://shape-move.github.io
💡 一句话要点
提出Shape My Moves，解决文本驱动的、体型感知的动作生成问题。
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 文本驱动动作生成 体型感知 运动合成 FSQ-VAE 变分自编码器
📋 核心要点
- 现有文本到动作生成方法忽略了体型对动作的影响，导致生成的动作与体型不匹配。
- 提出一种基于FSQ-VAE的框架，利用体型信息对离散的运动token进行反量化，生成体型感知的动作。
- 通过定量、定性和感知研究，验证了该方法在生成体型感知运动方面的有效性。
📝 摘要（中文）
本文研究了体型如何影响人体运动合成，这是现有文本到运动生成方法中经常被忽视的一个方面，因为学习同质化的、规范的体型更容易。然而，这种同质化会扭曲不同体型及其运动动力学之间的自然相关性。我们的方法通过从自然语言提示生成体型感知的人体运动来解决这一差距。我们利用基于有限标量量化的变分自编码器（FSQ-VAE）将运动量化为离散的token，然后利用连续的体型信息将这些token反量化为连续的、详细的运动。此外，我们利用预训练语言模型的能力来预测连续的形状参数和运动token，从而促进文本对齐的运动合成，并将它们解码为体型感知的运动。我们对该方法进行了定量和定性评估，并进行了全面的感知研究，以证明其在生成体型感知运动方面的有效性。
🔬 方法详解
问题定义：现有文本到动作生成方法通常忽略人体体型的影响，倾向于学习一种同质化的、规范的体型。这导致生成的动作与实际人体体型不匹配，无法反映不同体型人群的运动差异。因此，需要解决如何根据文本描述和人体体型生成自然、真实的动作的问题。
核心思路：论文的核心思路是将运动表示为离散的token，并利用体型信息对这些token进行反量化，从而生成体型感知的动作。通过这种方式，模型可以学习到不同体型与运动之间的关系，并生成更符合实际情况的动作。同时，利用预训练语言模型来理解文本描述，并预测相应的运动token和体型参数。
技术框架：整体框架包含以下几个主要模块：1) 运动量化模块：使用FSQ-VAE将连续的运动数据量化为离散的token。2) 文本编码模块：使用预训练语言模型对文本描述进行编码。3) 运动和体型预测模块：根据文本编码预测运动token和体型参数。4) 运动反量化模块：使用体型参数对运动token进行反量化，生成连续的、体型感知的动作。
关键创新：最重要的技术创新点在于利用FSQ-VAE将运动数据量化为离散的token，并使用连续的体型信息对这些token进行反量化。这种方法能够有效地将体型信息融入到运动生成过程中，从而生成更符合实际情况的动作。与现有方法相比，该方法能够更好地捕捉不同体型与运动之间的关系。
关键设计：FSQ-VAE使用有限标量量化器将运动数据映射到离散的token空间。体型信息通过一个神经网络映射到反量化器的参数空间，从而控制反量化的过程。损失函数包括重构损失、量化损失和对抗损失，用于保证生成动作的质量和真实性。预训练语言模型采用Transformer架构，用于对文本描述进行编码。
🖼️ 关键图片
📊 实验亮点
论文通过定量实验和定性实验，验证了该方法在生成体型感知运动方面的有效性。感知研究表明，与现有方法相比，该方法生成的动作更符合人体体型，更自然、真实。具体性能数据未知，但感知实验结果表明该方法具有显著的优势。
🎯 应用场景
该研究成果可应用于虚拟现实、游戏开发、动画制作等领域。例如，可以根据用户的体型和文本描述，生成个性化的虚拟角色动作，提高用户体验。此外，该技术还可以用于运动分析和康复训练，根据患者的体型和运动能力，生成定制化的训练方案。
📄 摘要（原文）
We explore how body shapes influence human motion synthesis, an aspect often overlooked in existing text-to-motion generation methods due to the ease of learning a homogenized, canonical body shape. However, this homogenization can distort the natural correlations between different body shapes and their motion dynamics. Our method addresses this gap by generating body-shape-aware human motions from natural language prompts. We utilize a finite scalar quantization-based variational autoencoder (FSQ-VAE) to quantize motion into discrete tokens and then leverage continuous body shape information to de-quantize these tokens back into continuous, detailed motion. Additionally, we harness the capabilities of a pretrained language model to predict both continuous shape parameters and motion tokens, facilitating the synthesis of text-aligned motions and decoding them into shape-aware motions. We evaluate our method quantitatively and qualitatively, and also conduct a comprehensive perceptual study to demonstrate its efficacy in generating shape-aware motions.