Wan-Dancer: A Hierarchical Framework for Minute-scale Coherent Music-to-Dance Generation
作者: Mingyang Huang, Peng Zhang, Li Hu, Guangyuan Wang, Bang Zhang
分类: cs.CV, cs.SD
发布日期: 2026-07-10
备注: 17 pages, 13 figures, project: https://github.com/Wan-Video/Wan-Dancer
💡 一句话要点
提出层次化框架以解决长时间音乐到舞蹈生成问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 音乐生成 舞蹈合成 层次化框架 时间一致性 多模态生成 光流损失 动态帧率 运动控制
📋 核心要点
- 现有方法在生成超过20秒的舞蹈视频时面临时间漂移和身份不一致等问题，导致生成的内容缺乏连贯性。
- 本文提出的层次化框架通过全局关键帧规划和局部时间细化，利用完整的音乐上下文来确保长时间的一致性。
- 实验结果显示，该框架生成的720p/30fps视频时长超过一分钟，且在五种舞蹈风格中表现出优越的稳定性和一致性。
📝 摘要（中文）
生成长时间、高分辨率且节奏同步的舞蹈视频直接从音乐中提取仍然是一个重大挑战，现有的扩散模型在20秒以上的时间限制下表现不佳。现有方法在扩展到更长时间时存在时间漂移、身份不一致和重复运动模式的问题。为了解决这些限制，本文提出了一种新的层次化框架，用于分钟级一致的音乐到舞蹈生成。该方法将过程解耦为全局关键帧规划和局部时间细化，利用完整的音乐上下文确保长时间的一致性。实验表明，该框架超越了传统的时长限制，生成稳定的720p/30fps视频，时长超过一分钟，且在五种不同舞蹈风格中表现出强大的通用性。
🔬 方法详解
问题定义：本文旨在解决从音乐生成长时间舞蹈视频的挑战，现有方法在扩展时长时存在时间漂移和身份不一致等问题，导致生成内容的连贯性不足。
核心思路：提出的层次化框架将生成过程分为全局关键帧规划和局部时间细化，充分利用音乐的全轨道上下文信息，以确保长时间的一致性和连贯性。
技术框架：整体架构包括两个主要模块：全局关键帧规划模块负责生成关键帧，局部时间细化模块则对关键帧进行细化处理，以实现更高的时间一致性和细节保留。
关键创新：本研究的创新点在于动态帧率适应技术，通过时间映射的RoPE嵌入实现精确对齐，以及基于光流的损失函数来增强运动连续性，这些创新显著提升了生成视频的质量。
关键设计：在设计中，采用了动态帧率调整、光流损失函数和运动速度控制等技术细节，以确保在快速运动时保留高保真细节，提升生成视频的整体质量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的框架成功生成720p/30fps的视频，时长超过一分钟，显著超越了传统方法的时长限制，且在五种舞蹈风格中表现出优越的稳定性和一致性，确立了新的舞蹈视频合成领域的最先进水平。
🎯 应用场景
该研究的潜在应用领域包括舞蹈表演、影视制作和游戏开发等，能够为创作者提供高效的舞蹈生成工具，提升创作效率和艺术表现力。未来，该技术有望在实时表演和虚拟现实等领域发挥更大影响。
📄 摘要（原文）
Generating long-duration, high-definition, and rhythmically synchronized dance videos directly from music remains a significant challenge, primarily due to the temporal constraints of current diffusion models, which typically fail beyond 20 seconds. Existing approaches, whether they rely on intermediate 3D skeletons or on end-to-end video synthesis, suffer from temporal drift, identity inconsistency, and repetitive motion patterns when extended to longer horizons. To address these limitations, we propose a novel hierarchical framework for minute-scale coherent music-to-dance generation. Our method decouples the process into global keyframe planning and local temporal refinement, leveraging full-track musical context to ensure long-range coherence. Key innovations include dynamic frame rate adaptation via time-mapped RoPE embeddings for precise alignment, an optical-flow-based loss function to enhance motion continuity, and motion-speed control to preserve high-fidelity details during rapid movements. Extensive experiments demonstrate that our framework surpasses the conventional duration barrier, generating stable, 720p/30fps videos exceeding one minute with superior temporal stability. Furthermore, the model exhibits robust versatility across five distinct dance genres, conditioned on both audio and textual prompts, establishing a new state-of-the-art in coherent, long-form dance video synthesis.