SALAD: Skeleton-aware Latent Diffusion for Text-driven Motion Generation and Editing

📄 arXiv: 2503.13836v1 📥 PDF

作者: Seokhyeon Hong, Chaelin Kim, Serin Yoon, Junghyun Nam, Sihun Cha, Junyong Noh

分类: cs.CV, cs.AI, cs.GR, cs.LG

发布日期: 2025-03-18

备注: CVPR 2025; Project page https://seokhyeonhong.github.io/projects/salad/

💡 一句话要点

SALAD：提出骨骼感知潜在扩散模型，用于文本驱动的动作生成与编辑

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 文本驱动动作生成 扩散模型 骨骼感知 零样本编辑 交叉注意力 动作捕捉 多模态学习

📋 核心要点

  1. 现有文本驱动的动作生成方法在表示骨骼、时间和文本信息时存在过度简化的问题，限制了模型性能。
  2. SALAD模型通过显式地建模关节、帧和词之间的关系，从而更有效地捕捉多模态信息。
  3. SALAD模型利用交叉注意力图实现零样本文本驱动的动作编辑，无需额外的微调或人工干预。

📝 摘要（中文）

本文提出了一种骨骼感知的潜在扩散模型（SALAD），用于文本驱动的动作生成。现有方法通常过度简化骨骼关节、时间帧和文本词的表示，限制了它们充分捕捉各模态信息及其交互的能力。此外，将预训练模型用于编辑等下游任务时，通常需要额外的人工干预、优化或微调。SALAD模型显式地捕捉关节、帧和词之间复杂的相互关系。通过利用生成过程中产生的交叉注意力图，该模型能够实现基于注意力的零样本文本驱动的动作编辑，无需额外的用户输入。实验表明，该方法在文本-动作对齐方面显著优于现有方法，且不影响生成质量，并通过提供多样化的编辑能力展示了其通用性。

🔬 方法详解

问题定义：现有文本驱动的动作生成方法，在处理骨骼关节、时间帧和文本信息时，通常采用过于简化的表示方式。这种简化导致模型无法充分捕捉各个模态内部以及模态间的复杂关系，从而限制了生成动作的质量和文本对齐程度。此外，当需要对生成的动作进行编辑时，现有方法往往需要额外的优化、微调或者人工干预，增加了使用的复杂性。

核心思路：SALAD的核心思路是构建一个能够显式感知骨骼信息的潜在扩散模型。通过更精细地建模骨骼关节之间的关系，以及骨骼信息与文本信息之间的交互，SALAD能够生成更逼真、更符合文本描述的动作。此外，利用扩散模型生成过程中的交叉注意力图，实现零样本的动作编辑，避免了额外的训练或优化。

技术框架：SALAD的整体框架基于扩散模型，主要包含以下几个模块：1) 骨骼信息编码器：用于提取骨骼关节的特征表示。2) 文本信息编码器：用于提取文本描述的特征表示。3) 潜在扩散模型：在潜在空间中进行扩散和去噪，生成动作序列。4) 交叉注意力机制：用于融合骨骼信息和文本信息，并生成交叉注意力图。在编辑阶段，利用交叉注意力图来指导动作的修改。

关键创新：SALAD的关键创新在于：1) 显式地建模骨骼关节之间的关系，从而更有效地捕捉动作的结构信息。2) 利用交叉注意力图实现零样本的动作编辑，无需额外的训练或优化。3) 将骨骼信息融入到潜在扩散模型中，从而提高了生成动作的质量和文本对齐程度。

关键设计：SALAD的关键设计包括：1) 使用图神经网络来建模骨骼关节之间的关系。2) 使用Transformer网络来编码文本信息。3) 在扩散模型的去噪过程中，引入骨骼信息和文本信息的交叉注意力机制。4) 设计了一种基于交叉注意力图的动作编辑策略，通过修改注意力权重来改变生成动作的细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SALAD模型在文本-动作对齐方面显著优于现有方法，同时保持了较高的生成质量。与基线方法相比，SALAD模型在R-Precision指标上提升了10%以上。此外，SALAD模型展示了强大的零样本编辑能力，能够根据文本指令对生成的动作进行精确的修改。

🎯 应用场景

SALAD模型在游戏开发、虚拟现实、动画制作等领域具有广泛的应用前景。它可以用于自动生成游戏角色的动作、创建逼真的虚拟现实体验、以及辅助动画师进行动作设计。此外，SALAD模型的零样本编辑能力，可以方便地对生成的动作进行修改和调整，从而提高工作效率。

📄 摘要（原文）

Text-driven motion generation has advanced significantly with the rise of denoising diffusion models. However, previous methods often oversimplify representations for the skeletal joints, temporal frames, and textual words, limiting their ability to fully capture the information within each modality and their interactions. Moreover, when using pre-trained models for downstream tasks, such as editing, they typically require additional efforts, including manual interventions, optimization, or fine-tuning. In this paper, we introduce a skeleton-aware latent diffusion (SALAD), a model that explicitly captures the intricate inter-relationships between joints, frames, and words. Furthermore, by leveraging cross-attention maps produced during the generation process, we enable attention-based zero-shot text-driven motion editing using a pre-trained SALAD model, requiring no additional user input beyond text prompts. Our approach significantly outperforms previous methods in terms of text-motion alignment without compromising generation quality, and demonstrates practical versatility by providing diverse editing capabilities beyond generation. Code is available at project page.