Dance Your Latents: Consistent Dance Generation through Spatial-temporal Subspace Attention Guided by Motion Flow
作者: Haipeng Fang, Zhihao Sun, Ziyao Huang, Fan Tang, Juan Cao, Sheng Tang
分类: cs.CV
发布日期: 2023-10-20
备注: 10 pages, 5 figures
💡 一句话要点
提出Dance-Your-Latents以解决舞蹈生成中的时空一致性问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 舞蹈生成 时空一致性 生成对抗网络 运动流 子空间注意力 虚拟现实 动画制作
📋 核心要点
- 现有舞蹈生成方法在时空一致性方面存在不足，导致生成的视频出现鬼影、闪烁和不连贯的动作。
- 提出Dance-Your-Latents框架，通过引入时空子空间注意力模块和运动流引导的对齐与恢复方法，提升舞蹈生成的一致性。
- 在TikTok数据集上的实验结果显示，该方法显著提高了生成视频的时空一致性，表现优于现有基线方法。
📝 摘要（中文）
随着生成性人工智能的发展，人类舞蹈生成领域也取得了显著进展。然而，现有方法在时空一致性方面仍存在不足，导致生成的视频出现鬼影、闪烁和不连贯的动作。本文提出了Dance-Your-Latents框架，通过运动流引导潜在空间的一致舞蹈生成。我们引入了时空子空间注意力模块，将全局空间分解为多个常规子空间，有效建模这些子空间内的时空一致性。此外，基于身体部位运动受姿态控制的观察，我们设计了运动流引导的子空间对齐与恢复方法。实验结果表明，该方法显著提升了生成视频的时空一致性。
🔬 方法详解
问题定义：本文旨在解决现有舞蹈生成方法在时空一致性方面的不足，具体表现为生成视频中的鬼影、闪烁和不连贯动作等问题。
核心思路：提出Dance-Your-Latents框架，通过引入时空子空间注意力模块和运动流引导的对齐与恢复方法，使潜在空间中的舞蹈生成更加一致。
技术框架：整体架构包括时空子空间注意力模块和运动流引导的子空间对齐与恢复模块。前者将全局空间分解为多个子空间，后者则基于运动流进行注意力计算。
关键创新：最重要的创新在于引入时空子空间注意力模块，有效减少了长距离注意力的过度分散，同时通过运动流引导的对齐与恢复方法提升了生成的一致性。
关键设计：在设计中，时空子空间注意力模块通过关注相邻区域来建模时空一致性，运动流引导的对齐与恢复则使得注意力计算在不规则子空间中进行，确保了生成动作的连贯性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Dance-Your-Latents在TikTok数据集上的表现显著优于现有基线方法，时空一致性提升幅度达到XX%（具体数据未知），有效减少了生成视频中的鬼影和闪烁现象，展示了该方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括舞蹈生成、动画制作和虚拟现实等。通过提升舞蹈生成的时空一致性，能够为创作者提供更高质量的生成内容，推动相关行业的发展。未来，该技术还可能扩展到其他类型的运动生成和人机交互领域，具有广泛的实际价值和影响力。
📄 摘要（原文）
The advancement of generative AI has extended to the realm of Human Dance Generation, demonstrating superior generative capacities. However, current methods still exhibit deficiencies in achieving spatiotemporal consistency, resulting in artifacts like ghosting, flickering, and incoherent motions. In this paper, we present Dance-Your-Latents, a framework that makes latents dance coherently following motion flow to generate consistent dance videos. Firstly, considering that each constituent element moves within a confined space, we introduce spatial-temporal subspace-attention blocks that decompose the global space into a combination of regular subspaces and efficiently model the spatiotemporal consistency within these subspaces. This module enables each patch pay attention to adjacent areas, mitigating the excessive dispersion of long-range attention. Furthermore, observing that body part's movement is guided by pose control, we design motion flow guided subspace align & restore. This method enables the attention to be computed on the irregular subspace along the motion flow. Experimental results in TikTok dataset demonstrate that our approach significantly enhances spatiotemporal consistency of the generated videos.