CASIM: Composite Aware Semantic Injection for Text to Motion Generation

📄 arXiv: 2502.02063v1 📥 PDF

作者: Che-Jui Chang, Qingze Tony Liu, Honglu Zhou, Vladimir Pavlovic, Mubbasir Kapadia

分类: cs.CV, cs.AI, cs.GR

发布日期: 2025-02-04

💡 一句话要点

提出CASIM，通过组合感知语义注入提升文本到动作生成质量与可控性。

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 文本到动作生成 组合感知 语义注入 动作捕捉 自然语言处理

📋 核心要点

  1. 现有文本到动作生成方法依赖固定长度文本嵌入，无法有效捕捉人类动作的组合特性。
  2. CASIM通过组合感知语义编码器和文本-动作对齐器，学习文本和动作token之间的动态对应关系。
  3. 实验表明，CASIM在动作质量、文本-动作对齐和检索分数上均优于现有方法，并提升了泛化能力。

📝 摘要（中文）

本文提出了一种用于文本到动作生成的组合感知语义注入机制（CASIM），旨在解决现有方法在利用文本信息进行条件动作生成时面临的挑战。现有方法主要依赖固定长度的文本嵌入（如CLIP）进行全局语义注入，难以捕捉人类动作的组合特性，导致动作质量和可控性欠佳。CASIM包含一个组合感知语义编码器和一个文本-动作对齐器，用于学习文本和动作token之间的动态对应关系。CASIM具有模型和表示无关性，可与自回归和扩散模型集成。在HumanML3D和KIT数据集上的实验表明，CASIM能够持续提升动作质量、文本-动作对齐以及检索分数。定性分析也验证了组合感知方法优于固定长度语义注入，能够实现基于文本提示的精确动作控制，并增强对未见文本输入的泛化能力。

🔬 方法详解

问题定义：本文旨在解决文本到动作生成任务中，现有方法无法充分利用文本信息，特别是忽略了人类动作的组合特性，导致生成动作质量和可控性不足的问题。现有方法通常使用固定长度的文本嵌入，例如CLIP，来表示整个文本描述，并将其注入到动作生成模型中。这种全局语义注入方式无法捕捉动作的细粒度信息和组合关系，限制了生成动作的真实性和可控性。

核心思路：本文的核心思路是设计一种组合感知的语义注入机制，能够将文本描述分解为多个语义成分，并学习这些成分与动作token之间的动态对应关系。通过这种方式，模型可以更好地理解文本描述的含义，并生成更符合文本描述的动作序列。这种组合感知的方法能够更精确地控制生成动作的细节，并提高生成动作的质量和可控性。

技术框架：CASIM包含两个主要模块：组合感知语义编码器和文本-动作对齐器。组合感知语义编码器负责将文本描述分解为多个语义成分，并提取每个成分的特征表示。文本-动作对齐器负责学习文本语义成分和动作token之间的动态对应关系。整个框架可以与现有的自回归和扩散模型集成，实现文本到动作的生成。具体流程是，首先使用组合感知语义编码器提取文本特征，然后将这些特征输入到文本-动作对齐器中，学习文本和动作token之间的对应关系，最后使用这些对应关系来指导动作的生成。

关键创新：CASIM的关键创新在于提出了组合感知的语义注入机制，能够将文本描述分解为多个语义成分，并学习这些成分与动作token之间的动态对应关系。与现有方法相比，CASIM能够更好地捕捉人类动作的组合特性，并生成更符合文本描述的动作序列。此外，CASIM具有模型和表示无关性，可以与现有的自回归和扩散模型集成，具有很强的通用性。

关键设计：组合感知语义编码器可以使用Transformer等模型来实现，用于提取文本的语义特征。文本-动作对齐器可以使用注意力机制来实现，用于学习文本语义成分和动作token之间的对应关系。损失函数可以包括文本-动作对齐损失和动作生成损失，用于优化模型的性能。具体的参数设置需要根据具体的任务和数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在HumanML3D和KIT数据集上的实验结果表明，CASIM能够显著提升动作质量、文本-动作对齐以及检索分数。例如，在HumanML3D数据集上，CASIM在R-Precision指标上取得了显著提升，超过了现有的state-of-the-art方法。定性分析也表明，CASIM能够生成更符合文本描述的动作序列，并具有更强的泛化能力。

🎯 应用场景

该研究成果可应用于虚拟现实、游戏开发、动画制作等领域，实现通过自然语言控制虚拟角色的动作，提升用户交互体验。例如，用户可以通过文本描述指定虚拟角色的舞蹈动作、运动姿态等，从而快速生成逼真的动画效果。未来，该技术有望应用于机器人控制领域，实现通过自然语言指令控制机器人的复杂动作。

📄 摘要（原文）

Recent advances in generative modeling and tokenization have driven significant progress in text-to-motion generation, leading to enhanced quality and realism in generated motions. However, effectively leveraging textual information for conditional motion generation remains an open challenge. We observe that current approaches, primarily relying on fixed-length text embeddings (e.g., CLIP) for global semantic injection, struggle to capture the composite nature of human motion, resulting in suboptimal motion quality and controllability. To address this limitation, we propose the Composite Aware Semantic Injection Mechanism (CASIM), comprising a composite-aware semantic encoder and a text-motion aligner that learns the dynamic correspondence between text and motion tokens. Notably, CASIM is model and representation-agnostic, readily integrating with both autoregressive and diffusion-based methods. Experiments on HumanML3D and KIT benchmarks demonstrate that CASIM consistently improves motion quality, text-motion alignment, and retrieval scores across state-of-the-art methods. Qualitative analyses further highlight the superiority of our composite-aware approach over fixed-length semantic injection, enabling precise motion control from text prompts and stronger generalization to unseen text inputs.