Kaleido: Algorithm-Hardware Co-Design for Video Diffusion Transformers by Exploiting Latent Space Correlations
作者: Wenxuan Miao, Haosong Liu, Weiming Hu, Zihan Liu, Aiyue Chen, Jianlin Yu, Yiwu Yao, Yiming Gan, Jieru Zhao, Jingwen Leng, Minyi Guo, Yu Feng
分类: cs.AR, cs.AI
发布日期: 2026-07-15
💡 一句话要点
提出Kaleido以解决视频扩散变换器计算效率问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频生成 扩散变换器 算法硬件协同设计 通道重用 时空相关性
📋 核心要点
- 现有视频扩散变换器在计算效率上存在瓶颈，尤其是自注意力计算的高成本。
- Kaleido通过利用潜在空间中的通道级时空相关性，提出了一种轻量级的通道重用算法，显著减少冗余计算。
- 实验结果表明，Kaleido在三种主流vDiT模型上实现了最高5.9倍的速度提升和16.0倍的能耗节省。
📝 摘要（中文）
视频扩散变换器（vDiTs）能够生成高质量视频，但由于长扩散时间步和自注意力计算，导致计算成本极高。随着扩散时间步的减少，自注意力的计算成本成为主要瓶颈。现有加速方法主要借鉴大型语言模型的稀疏注意力技术，但未考虑视频数据的独特时空相关性。本文提出Kaleido，通过利用潜在空间中的通道级时空相关性，进行算法与硬件的协同设计，显著加速vDiTs的所有操作。我们提出了一种轻量级的通道重用算法，通过重用部分结果跳过冗余计算，同时保持比现有方法更高的生成质量（>17 dB）。为支持该算法，我们设计了一种类似于系统阵列的加速器，具有可重构的处理单元和轻量级数据调度器，以缓解由重用算法引入的不规则稀疏性和数据访问模式。评估结果显示，Kaleido在三种主流vDiT模型上实现了最高5.9倍的加速和16.0倍的能耗节省。
🔬 方法详解
问题定义：论文要解决视频扩散变换器（vDiTs）在生成高质量视频时面临的高计算成本问题，尤其是自注意力计算的瓶颈。现有方法主要借鉴语言模型的稀疏注意力技术，但未能有效利用视频数据的时空特性。
核心思路：论文提出Kaleido，通过算法与硬件的协同设计，利用潜在空间中的通道级时空相关性，开发出一种轻量级的通道重用算法，从而跳过冗余计算，提升生成质量。
技术框架：Kaleido的整体架构包括通道重用算法和一个可重构的加速器。算法部分负责识别和重用计算中的部分结果，而加速器则通过可重构处理单元和数据调度器来优化数据访问和计算效率。
关键创新：Kaleido的核心创新在于其通道级重用算法，能够在保持生成质量的同时，显著减少计算量。这一方法与传统的稀疏注意力技术有本质区别，后者未能充分考虑视频数据的时空相关性。
关键设计：在设计中，Kaleido采用了可重构的处理单元，以适应不同的计算需求，并通过轻量级数据调度器来优化数据流，减少不规则稀疏性带来的性能损失。
🖼️ 关键图片
📊 实验亮点
Kaleido在三种主流视频扩散变换器模型上的评估结果显示，最高实现了5.9倍的速度提升和16.0倍的能耗节省，相较于现有最先进的加速器，显著提高了计算效率和生成质量。
🎯 应用场景
Kaleido的研究成果具有广泛的应用潜力，特别是在视频生成、实时视频处理和智能监控等领域。通过提高视频生成的效率和质量，Kaleido能够推动相关技术的发展，提升用户体验和应用效果，具有重要的实际价值和未来影响。
📄 摘要（原文）
Video diffusion transformers (vDiTs) generate high quality video but introduce extremely high compute cost due to the long diffusion timesteps and self attention computation. As diffusion timesteps are reduced, the computation cost of self attention becomes the dominant bottleneck. Existing acceleration approaches largely inherit sparse attention techniques from large language models, which fail to consider the unique spatiotemporal correlation of video data. This paper presents Kaleido, an algorithm hardware codesign that accelerates all operations in vDiTs by exploiting channel-wise spatiotemporal correlations in latent space. Based on this insight, we propose a lightweight channelwise reuse algorithm that skips redundant computations by reusing partial results while preserving higher generative quality than prior methods (>17 dB). To efficiently support this algorithm, we design a systolic array like accelerator with reconfigurable processing elements and a lightweight data dispatcher to mitigate irregular sparsity and data access patterns introduced by our reuse algorithm. Evaluations across three mainstream vDiT models show that Kaleido achieves up to 5.9x speedup and 16.0x energy savings over state of the art accelerators.