Dynamics-Aware Sparse Attention for Efficient Autoregressive Video Diffusion

📄 arXiv: 2610.26262v1 📥 PDF

作者: Yuanyu He, Zhuokun Chen, Yefei He, Zhiwei Tang, Jiasheng Tang, Yinghao Yu, Jianfei Cai, Bohan Zhuang

分类: cs.CV

发布日期: 2026-10-19

备注: NeurIPS 2026, Project page: https://yuanyu0.github.io/DASA/

💡 一句话要点

提出动态感知稀疏注意力以解决自回归视频扩散效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 自回归扩散 视频生成 稀疏注意力 动态感知 蒸馏训练 计算效率 视频编码 时空特征

📋 核心要点

  1. 现有自回归扩散变换器在长视频生成中面临高计算和内存开销的挑战，导致效率低下。
  2. 本文提出动态感知稀疏注意力（DASA），通过动态和静态区域的解耦，实现稀疏、运动驱动的生成。
  3. 实验结果显示，DASA在VBench上加速视频生成2.16倍，同时保持高质量的视觉效果。

📝 摘要（中文）

自回归扩散变换器已成为长视频生成的强大范式。然而，它们常常受到高计算开销和显著内存占用的限制。这种低效源于密集计算机制在所有时空区域均匀分配处理资源，未能利用视频中运动通常局限于稀疏区域的内在时间冗余。本文提出了动态感知稀疏注意力（DASA），一个统一框架，转向稀疏的运动驱动生成，以消除存储和计算冗余。我们的方案明确将视频内容解耦为动态和静态区域，并通过选择性压缩历史KV缓存来缓解内存瓶颈。此外，我们采用基于局部动态的区域级计算分配策略，以降低计算开销。实验结果表明，该方法在VBench上加速自回归视频生成2.16倍，同时保持高视觉保真度。

🔬 方法详解

问题定义：本文旨在解决自回归扩散变换器在长视频生成中的高计算和内存开销问题。现有方法的密集计算机制未能有效利用视频内容的时间冗余，导致效率低下。

核心思路：论文提出的动态感知稀疏注意力（DASA）框架，通过将视频内容分为动态和静态区域，采用稀疏计算策略，旨在消除存储和计算冗余，从而提高生成效率。

技术框架：DASA框架包括三个主要模块：动态和静态区域的解耦、历史KV缓存的选择性压缩，以及基于局部动态的区域级计算分配策略。这些模块协同工作，以优化视频生成过程。

关键创新：DASA的核心创新在于引入动态感知机制，通过运动驱动的稀疏注意力替代传统的密集计算方法。这一设计使得模型能够更有效地处理视频数据，显著提高生成效率。

关键设计：在技术细节上，DASA采用选择性压缩历史KV缓存，仅保留动态特征，并设计了区域级计算分配策略，以适应视频内容的局部动态变化。此外，论文还引入了一种动态引导的蒸馏训练方法，以进一步提升模型性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，DASA在VBench上实现了2.16倍的加速，相比于基线方法显著提升了自回归视频生成的效率，同时保持了高水平的视觉保真度。这一成果展示了动态感知稀疏注意力在视频生成中的有效性。

🎯 应用场景

该研究的潜在应用领域包括视频生成、视频编辑和虚拟现实等。通过提高视频生成的效率和质量，DASA可以为内容创作者和开发者提供更强大的工具，推动视频技术的进步和创新。未来，该方法可能在实时视频处理和生成任务中发挥重要作用。

📄 摘要（原文）

Autoregressive Diffusion Transformers have emerged as a powerful paradigm for long video generation. However, they are often constrained by prohibitive computational overhead and substantial memory footprints. This inefficiency arises from dense computation mechanisms that allocate uniform processing resources across all spatiotemporal regions, failing to leverage the inherent temporal redundancy of video where motion is typically confined to sparse areas. In this paper, we propose Dynamics-Aware Sparse Attention (DASA), a unified framework that shifts from dense computation to sparse, motion-driven generation to eliminate both storage and computational redundancies. Inspired by video codec principles, our approach explicitly decouples video content into dynamic and static regions. To mitigate memory bottlenecks, we selectively compress the historical KV cache by retaining only dynamic features within the generated chunk. Furthermore, to reduce computational overhead, we employ a region-level computation allocation strategy based on localized dynamics. Additionally, a dynamics-guided distillation method is introduced to enhance performance via a lightweight distillation training process. Experiments on VBench demonstrate that our approach accelerates autoregressive video generation by 2.16x, while preserving high visual fidelity.