WorldAttention: An Efficient Attention Architecture for Interactive Video World Models

📄 arXiv: 2609.34606v1 📥 PDF

作者: Zeyu Zhang, Jinyuan Mao, Dakai An, Wangbo Zhao, Hanfeng Lu, Jiasheng Tang, Yinghao Yu, Wei Wang, Bohan Zhuang

分类: cs.CV

发布日期: 2026-09-28

备注: Website: https://alibaba-damo-academy.github.io/WorldAttention, Code: https://github.com/alibaba-damo-academy/WorldAttention

💡 一句话要点

提出WorldAttention以解决长视频生成中的计算复杂性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频生成 交互式视频 注意力机制 稀疏注意力 分层缓存 计算效率 人工智能 深度学习

📋 核心要点

  1. 现有的交互式视频生成方法依赖滑动窗口机制，导致历史上下文丧失，限制了长时间交互能力。
  2. 论文提出WorldAttention，通过混合稀疏注意力和分层KV缓存管理，优化了计算效率和内存使用。
  3. 实验结果显示，WorldAttention在VBench-Long和InterVBench上均超越了现有方法，显著提升了生成一致性分数。

📝 摘要（中文）

本论文提出了一种名为WorldAttention的高效注意力架构，旨在解决文本条件的交互式视频世界模型中的计算复杂性问题。现有方法主要依赖滑动窗口机制，导致历史上下文的丧失，限制了长时间交互的能力。WorldAttention通过混合稀疏注意力和分层KV缓存管理，实现了高效的计算，显著提升了生成性能。实验结果表明，该方法在VBench-Long和InterVBench上均超越了现有最先进技术，分别达到了0.9472和0.9668的主题一致性分数。

🔬 方法详解

问题定义：论文要解决的问题是现有交互式视频生成方法在长时间生成中面临的计算复杂性和历史上下文丧失的问题。现有方法使用滑动窗口机制，导致无法有效利用历史信息，且全历史缓存的计算和内存开销过大。

核心思路：论文的核心解决思路是设计WorldAttention架构，通过混合稀疏注意力和分层KV缓存管理来提高计算效率，保持历史信息的可用性。这样的设计旨在在不牺牲性能的情况下，降低计算复杂度和内存使用。

技术框架：WorldAttention的整体架构包括两个主要模块：混合稀疏注意力（HSA）和分层KV缓存（HKV）。HSA结合了线性全局注意力和头自适应稀疏注意力，HKV则将历史KV对组织成语义索引的多层缓存，以实现高效的检索和GPU内存管理。

关键创新：最重要的技术创新点在于HSA和HKV的结合，HSA通过稀疏性降低了计算复杂度，而HKV则通过分层管理优化了内存使用。这与现有方法的本质区别在于，WorldAttention能够在保持历史信息的同时，显著降低计算和内存开销。

关键设计：在设计中，HSA采用了特定的内核来实现理论效率的实际转化，HKV则通过语义索引实现了细粒度的KV对检索。此外，论文还对内存管理和计算效率进行了优化，确保在长时间生成中保持低延迟。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在VBench-Long和InterVBench的实验中，WorldAttention分别达到了0.9472和0.9668的主题一致性分数，显著超越了现有最先进的方法。这表明该架构在长视频生成中的有效性和优越性，具有重要的实际应用价值。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、虚拟现实和游戏开发等需要长时间交互的视频生成场景。通过提高生成效率和一致性，WorldAttention能够为这些领域提供更为流畅和自然的用户体验，推动交互式AI的发展。

📄 摘要（原文）

Leveraging the paradigm of autoregressive diffusion, text-conditioned interactive video world models aim to simulate temporally coherent environments guided by textual instructions. While enabling low-latency, long-duration generation is pivotal for embodied AI and simulation-based planning, current frameworks primarily rely on sliding-window mechanisms to bound computational complexity. However, this approach inherently sacrifices historical context, undermining the long-range interactive capabilities. Conversely, maintaining a full-history cache remains computationally prohibitive and memory-intensive: the quadratic complexity of attention leads to excessive computational overhead, while the linear growth of the KV cache inevitably leads to GPU memory saturation. To overcome these limitations, we propose WorldAttention, a system-oriented attention architecture that achieves high efficiency through the co-design of specialized attention kernels and hierarchical KV cache management. First, we introduce Hybrid Sparse Attention (HSA), which integrates linear global attention supplemented with head-adaptive sparse attention. Additionally, we design a Hierarchical KV Cache (HKV) that organizes historical KV pairs into semantically indexed pages across multi-tier memory, enabling fine-grained retrieval and controlled GPU residency. These two designs are supported by tailored kernels to effectively translate their theoretical efficiency into real-world performance. Extensive experiments on VBench-Long and InterVBench demonstrate that WorldAttention consistently surpasses prior state-of-the-art methods, achieving subject consistency scores of 0.9472 on VBench-Long and 0.9668 on InterVBench, respectively.