HLA-WM: Hybrid Linear Attention for Long-Horizon Video World Models

📄 arXiv: 2610.05739v1 📥 PDF

作者: Zhuokun Chen, Feng Chen, Xi Lin, Xiyu Wu, Jiahao He, Jianfei Cai, Bohan Zhuang

分类: cs.CV, cs.AI

发布日期: 2026-10-05

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出HLA-WM以解决长视频世界模型中的长程遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长视频理解 混合线性注意力 长程遗忘 几何引导检索 递归状态计算

📋 核心要点

  1. 现有方法在长时间视频生成中面临长程遗忘的问题，导致重要信息逐渐丢失。
  2. HLA-WM通过混合线性注意力机制，结合几何引导检索与递归线性状态计算，解决了长程遗忘问题。
  3. 在多个基准测试中，HLA-WM显著提高了重访一致性指标，且在内存使用和推理效率上表现优异。

📝 摘要（中文）

长时间的视频世界模型需要持久的记忆以保持场景一致性。现有的Softmax注意力通过不断增长的KV缓存保留完整的生成历史，而递归线性注意力则以显著较低的内存成本将历史压缩为固定大小的状态。然而，我们发现Gated DeltaNet（GDN）存在严重的长程遗忘问题，导致来自遥远但相关场景的信息在后续状态更新中逐渐减弱。为了解决这一限制，我们提出了HLA-WM，这是一种无训练的混合线性注意力框架，结合了粗粒度的几何引导检索与细粒度的递归线性状态计算。HLA-WM利用GDN的仿射结构缓存紧凑的块状过渡摘要，通过相机几何检索与场景相关的历史块，并将其重组成查询特定的递归状态。在60秒的SANA-WM-Bench上，HLA-WM在不增加额外训练的情况下改善了基础自回归生成器的所有六个聚合重访一致性和相机控制指标，包括0.74 dB的PSNR增益和28.5%的旋转误差减少。

🔬 方法详解

问题定义：论文旨在解决长视频世界模型中的长程遗忘问题，现有的Gated DeltaNet在处理遥远场景信息时表现不佳，导致重要信息的丢失。

核心思路：HLA-WM通过混合线性注意力机制，结合几何引导的历史块检索与递归线性状态计算，旨在提高长程场景回忆的准确性与效率。

技术框架：HLA-WM的整体架构包括三个主要模块：1) 块状过渡摘要缓存；2) 基于相机几何的历史块检索；3) 查询特定的递归状态重组。

关键创新：HLA-WM的核心创新在于其训练自由的混合线性注意力机制，能够有效缓存和重组历史信息，显著减少长程遗忘现象。

关键设计：在设计中，HLA-WM采用了紧凑的块状过渡摘要，利用相机几何进行历史块的检索，确保在内存使用上减少12倍，同时保持推理吞吐量的高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HLA-WM在60秒的SANA-WM-Bench上实现了0.74 dB的PSNR增益和28.5%的旋转误差减少，且在内存使用上减少了12倍，推理吞吐量仅减少1.6%。这些结果表明HLA-WM在长程场景回忆和效率方面的显著提升。

🎯 应用场景

HLA-WM在长视频理解、自动驾驶、虚拟现实等领域具有广泛的应用潜力。其高效的记忆管理和场景重访能力，可以为实时系统提供更为稳定和一致的输出，推动相关技术的发展与应用。

📄 摘要（原文）

Long-horizon video world models require persistent memory to preserve scene consistency over extended rollouts. Softmax attention retains the full generation history through a growing KV cache, whereas recurrent linear attention compresses history into fixed-size states with substantially lower memory cost. However, we identify severe long-range forgetting in Gated DeltaNet (GDN), where information from distant but relevant scenes is progressively attenuated by subsequent state updates. To address this limitation, we propose HLA-WM, a training-free hybrid linear-attention framework that combines coarse-grained geometry-guided retrieval with fine-grained recurrent linear-state computation. HLA-WM exploits the affine structure of GDN to cache compact chunk-wise transition summaries, retrieve scene-relevant historical chunks using camera geometry, and recompose them into query-specific recurrent states. On the $60$-second SANA-WM-Bench, HLA-WM improves all six aggregate revisit-consistency and camera-control metrics of the base autoregressive generator without additional training, including a $0.74$ dB PSNR gain and a $28.5\%$ reduction in rotation error. The improvements persist after downstream refinement and generalize to MBench-A, where HLA-WM consistently improves all three revisit-consistency metrics across all four subsets and all evaluated inference modes over $547$ samples. At a $60$-second context, HLA-WM reduces historical-state memory by $12\times$ relative to full KV caching while incurring at most a $1.6\%$ reduction in inference throughput. These results demonstrate that selectively addressable recurrent memory can improve long-range scene recall while preserving the efficiency advantages of GDN. Project page: https://caesarhhh.github.io/hla-wm/