Velox: Spatial Memory Makes World Models Efficient
作者: Qiuhong Shen, Shizun Wang, Xinchao Wang
分类: cs.CV
发布日期: 2026-10-15
💡 一句话要点
提出Velox以解决视频世界模型生成效率问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频世界模型 注意力机制 流几何体 交互式仿真 深度学习
📋 核心要点
- 现有的视频世界模型在生成长时间视觉展望时，随着上下文缓存的增长，生成速度逐渐减慢，影响响应性。
- 本文提出Velox，通过无训练的注意力路由器和视锥块对应关系，实现区域级上下文选择，从而提高生成效率。
- 实验结果显示，Velox在注意力生成和去噪方面分别加速4.36倍和2.43倍，且在多个案例中表现优异，接近基线性能。
📝 摘要（中文）
视频世界模型将动作和相机运动转化为长时间的视觉展望，使视频成为交互式仿真的自然接口。然而，响应式生成要求保持对已生成内容的视觉记忆。现有的分块视频扩散模型在增长的KV缓存中保持上下文，导致后续块生成速度逐渐减慢。为了解决这一瓶颈，本文提出了Velox，一个无训练的注意力路由器，通过流几何体的视锥块对应关系进行区域级上下文选择。Velox将历史块表示为具有深度区间的相机视锥块，并通过近期优先的多重扭曲获取当前块深度。对于覆盖良好的区域，视锥块重叠柔和调节每层的模型导出块重要性，而未覆盖区域则保持模型导出的路径而不受几何偏差影响。实验表明，Velox在第48块时加速注意力生成4.36倍，去噪加速2.43倍，并在158个案例的WBench导航分割中保持在密集LingBot-Fast-Cam的0.15 API-free平均点内。
🔬 方法详解
问题定义：本文旨在解决视频世界模型在生成长时间视觉展望时的效率瓶颈，现有方法在上下文缓存增长时导致生成速度减慢，影响交互体验。
核心思路：Velox通过引入无训练的注意力路由器，利用流几何体的视锥块对应关系进行区域级上下文选择，从而提高生成的响应性和效率。
技术框架：Velox的整体架构包括历史块的视锥块表示、近期优先的多重扭曲获取当前块深度，以及对覆盖区域和未覆盖区域的不同处理策略。
关键创新：Velox的主要创新在于通过视锥块重叠调节模型导出块的重要性，避免了几何偏差的影响，从而提高了生成效率。
关键设计：Velox采用固定的token-block粒度，与FlashAttention风格的平铺执行相匹配，减少了随着生成长度增长的注意力项，同时视锥块构建与去噪异步运行，提升了整体性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Velox在第48块时实现了注意力生成加速4.36倍，去噪加速2.43倍，且在158个案例的WBench导航分割中，性能与密集LingBot-Fast-Cam相差仅0.15 API-free平均点，展现了其优越的效率和稳定性。
🎯 应用场景
该研究的潜在应用领域包括交互式仿真、虚拟现实和增强现实等场景，能够显著提升用户体验和系统响应速度。未来，Velox可能在实时视频处理和智能机器人导航等领域发挥重要作用，推动相关技术的发展。
📄 摘要（原文）
Video world models turn actions and camera motion into long visual rollouts, making video a natural interface for interactive simulation. Such interaction requires responsive generation, yet coherent rollouts must retain visual memory of what has already been generated. Chunked video diffusion models usually keep this context in growing KV caches, so later chunks become progressively slower. To address this bottleneck, we introduce Velox, a training-free attention router for region-level context selection using frustum slab correspondences from streaming geometry. Velox represents historical blocks as camera frustum slabs with depth intervals and obtains current-block depth through recency-priority multiwarp. For well-covered regions, frustum slab overlap softly modulates each layer's model-derived block importance. Uncovered regions retain the model-derived route without geometric bias. The fixed token-block granularity matches FlashAttention-style tiled execution and reduces the attention term that grows with rollout length. Frustum slab construction runs asynchronously with denoising on the same H200. At chunk 48, Velox accelerates attention by $4.36\times$ and denoising by $2.43\times$. On the full 158-case WBench navigation split, it remains within 0.15 API-free average points of dense LingBot-Fast-Cam. Please see our project page at https://velox-world.com/velox/ for more details.