Exploring Vision Transformers for 3D Human Motion-Language Models with Motion Patches

📄 arXiv: 2405.04771v1 📥 PDF

作者: Qing Yu, Mikihiro Tanaka, Kent Fujiwara

分类: cs.CV

发布日期: 2024-05-08

备注: Accepted to CVPR 2024, Project website: https://yu1ut.com/MotionPatches-HP/

💡 一句话要点

提出基于运动块和视觉Transformer的3D人体运动-语言模型，提升跨模态检索性能。

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 3D人体运动 运动-语言模型 视觉Transformer 迁移学习 运动块 跨模态检索 零样本学习

📋 核心要点

  1. 现有3D人体运动-语言模型受限于高质量运动数据的稀缺，导致性能提升困难。
  2. 提出“运动块”表示方法，并利用视觉Transformer进行迁移学习，将图像领域的知识迁移到运动领域。
  3. 实验表明，该方法在文本到运动检索等任务上取得了state-of-the-art的性能，并验证了其有效性。

📝 摘要（中文）

为了构建3D人体运动和语言之间的跨模态潜在空间，获取大规模和高质量的人体运动数据至关重要。然而，与丰富的图像数据不同，运动数据的稀缺性限制了现有运动-语言模型的性能。为了解决这个问题，我们引入了“运动块”这一新的运动序列表示方法，并提出使用视觉Transformer（ViT）作为运动编码器，通过迁移学习，旨在从图像领域提取有用的知识并将其应用于运动领域。这些运动块通过分割和排序运动序列中基于身体部位的骨骼关节而创建，对不同的骨骼结构具有鲁棒性，并且可以被视为ViT中的彩色图像块。我们发现，通过使用2D图像数据训练获得的ViT预训练权重进行迁移学习可以提高运动分析的性能，为解决运动数据有限的问题提供了一个有希望的方向。我们广泛的实验表明，所提出的运动块与ViT结合使用，在文本到运动检索的基准测试中实现了最先进的性能，以及其他新的具有挑战性的任务，例如跨骨骼识别、零样本运动分类和人机交互识别，这些任务目前受到数据缺乏的阻碍。

🔬 方法详解

问题定义：现有3D人体运动-语言模型依赖于大规模高质量的运动数据，但运动数据的获取成本高昂，导致模型性能受限。现有方法难以有效利用其他模态（如图像）的知识来提升运动理解能力。

核心思路：核心思路是将3D人体运动序列转化为类似图像的“运动块”表示，然后利用在图像领域预训练的视觉Transformer (ViT) 进行特征提取。通过迁移学习，将图像领域的知识迁移到运动领域，从而缓解运动数据稀缺的问题。

技术框架：整体框架包含以下几个主要步骤：1) 将3D人体运动序列分割成基于身体部位的骨骼关节；2) 对这些关节进行排序，形成“运动块”；3) 将运动块输入到预训练的ViT模型中进行特征提取；4) 将提取的特征用于下游任务，如文本到运动检索、跨骨骼识别等。

关键创新：关键创新在于“运动块”的表示方法和利用ViT进行迁移学习。运动块的设计使得模型能够处理不同骨骼结构的数据，并且能够利用图像领域的预训练知识。

关键设计：运动块的生成方式是将骨骼关节按照身体部位进行分组，然后将每个组的关节位置信息拼接成一个向量，最后将这些向量按照时间顺序排列，形成一个类似图像的矩阵。ViT模型使用在ImageNet等大规模图像数据集上预训练的模型，然后使用运动数据进行微调。损失函数根据具体的下游任务进行选择，例如，文本到运动检索任务可以使用对比损失。

📊 实验亮点

实验结果表明，该方法在文本到运动检索任务上取得了state-of-the-art的性能。此外，该方法还在跨骨骼识别、零样本运动分类和人机交互识别等任务上取得了良好的效果，验证了其泛化能力。相较于现有方法，该方法在数据稀缺的情况下能够更好地利用图像领域的知识，从而提升模型性能。

🎯 应用场景

该研究成果可应用于虚拟现实、游戏、动画制作等领域，实现更自然、更智能的人机交互。例如，可以根据用户的文本描述生成相应的3D人体运动，或者识别用户正在进行的运动并提供相应的反馈。此外，该方法还可以用于运动康复、运动分析等专业领域，提高运动数据的利用效率。

📄 摘要（原文）

To build a cross-modal latent space between 3D human motion and language, acquiring large-scale and high-quality human motion data is crucial. However, unlike the abundance of image data, the scarcity of motion data has limited the performance of existing motion-language models. To counter this, we introduce "motion patches", a new representation of motion sequences, and propose using Vision Transformers (ViT) as motion encoders via transfer learning, aiming to extract useful knowledge from the image domain and apply it to the motion domain. These motion patches, created by dividing and sorting skeleton joints based on body parts in motion sequences, are robust to varying skeleton structures, and can be regarded as color image patches in ViT. We find that transfer learning with pre-trained weights of ViT obtained through training with 2D image data can boost the performance of motion analysis, presenting a promising direction for addressing the issue of limited motion data. Our extensive experiments show that the proposed motion patches, used jointly with ViT, achieve state-of-the-art performance in the benchmarks of text-to-motion retrieval, and other novel challenging tasks, such as cross-skeleton recognition, zero-shot motion classification, and human interaction recognition, which are currently impeded by the lack of data.