Video DeltaNet: A Video-Native Hybrid Attention for Livestream Video Generation
作者: Haocheng Xi, Yiming Xie, Hexu Zhao, Yiwen Zhang, Michael Liu, Thomas Creavin, Kurt Keutzer, Xiuyu Li, Zhaoyang Lv, Chenfeng Xu, Haiwen Feng
分类: cs.LG
发布日期: 2026-09-17
备注: 20 pages, 10 figures
💡 一句话要点
提出Video DeltaNet以解决视频生成中的计算瓶颈问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频生成 注意力机制 线性记忆 多模态交互 高效去噪 深度学习 视频处理
📋 核心要点
- 现有视频生成模型在处理长时空序列时，注意力机制导致计算效率低下，成为性能瓶颈。
- 提出Video DeltaNet，通过结合局部Softmax注意力和线性记忆，优化视频生成中的长范围上下文处理。
- VDN-H3在视频去噪任务中表现出色，完成14.3秒视频的处理时间为6.70秒，实现了14.5倍的速度提升。
📝 摘要（中文）
视频扩散模型在去噪过程中需要反复处理长时空令牌序列，使得注意力机制成为主要的计算瓶颈。线性注意力作为一种替代方案被广泛应用于最近的大型语言模型，但直接将其应用于视频模型往往无法保留高质量生成所需的细粒度交互。本文提出了Video DeltaNet（VDN），结合了局部Softmax注意力和双向线性记忆以处理长范围视频上下文。VDN的线性分支引入了视频Delta注意力（VDA），通过联合空间令牌每帧更新记忆。通过分离的输出投影和可学习的门控机制来校准两个分支，同时采用分阶段的教师对齐策略逐步将新路径引入预训练模型。VDN在MiniMax H3上实例化，应用于视频到视频的交互，同时在涉及文本或音频的交互中保留Softmax。经过八步蒸馏和优化的SGLang服务堆栈，VDN-H3在八个NVIDIA B200 GPU上完成14.3秒、768p视频的DiT去噪，耗时6.70秒，相比于相同GPU数量下的50步密集H3基线实现了14.5倍的加速。
🔬 方法详解
问题定义：当前视频扩散模型在去噪时需要反复处理长时空令牌序列，导致注意力机制成为计算瓶颈，影响生成效率和质量。
核心思路：本文提出Video DeltaNet（VDN），通过结合局部Softmax注意力与双向线性记忆，旨在有效处理长范围视频上下文，同时保留细粒度的交互信息。
技术框架：VDN的整体架构包括两个主要分支：线性分支引入视频Delta注意力（VDA），每帧通过空间令牌更新记忆；而局部Softmax分支则用于处理文本或音频交互。通过分离的输出投影和可学习的门控机制来协调两个分支的输出。
关键创新：VDN的核心创新在于将线性注意力与局部Softmax注意力相结合，解决了直接应用线性注意力在视频生成中无法保留细粒度交互的问题。
关键设计：在设计中，采用了分阶段的教师对齐策略，将新路径逐步引入预训练模型，确保模型在保留原有性能的同时，能够有效利用新引入的结构。
🖼️ 关键图片
📊 实验亮点
VDN-H3在视频去噪任务中表现优异，处理14.3秒、768p的视频仅需6.70秒，相比于50步密集H3基线实现了14.5倍的速度提升，展示了其在高效视频生成中的巨大潜力。
🎯 应用场景
该研究的潜在应用领域包括实时视频生成、直播视频处理以及多模态内容创作等。通过提高视频生成的效率和质量，VDN有望在视频制作、游戏开发和虚拟现实等行业产生深远影响。
📄 摘要（原文）
Video diffusion models repeatedly process long spatiotemporal token sequences during denoising, making attention a major computational bottleneck. Linear attention offers an appealing alternative and has been widely adopted in recent large language models, but directly applying it to video models often fails to preserve the fine-grained interactions required for high-quality generation. We present Video DeltaNet (VDN), which combines local Softmax attention with bidirectional linear memory for long-range video context. Its linear branch introduces Video Delta Attention (VDA), which updates memory once per frame by jointly incorporating its spatial tokens. Separate output projections and learnable gates calibrate the two branches, while a staged teacher-alignment recipe progressively introduces the new pathway into pretrained models. We instantiate VDN on MiniMax H3, applying the hybrid to video-to-video interactions while retaining Softmax for interactions involving text or audio. With eight-step distillation and an optimized SGLang serving stack, VDN-H3 completes DiT denoising for a 14.3-second, 768p video in 6.70 seconds on eight NVIDIA B200 GPUs, corresponding to a 14.5x speedup over the 50-step dense H3 baseline on the same GPU count.