LOCI: Spatial Linear Memory for Streaming World Models
作者: Ji Xia, Tingting Liao, Xuezhi Liang, Hao Li, Guangyi Liu
分类: cs.CV
发布日期: 2026-09-30
备注: 25 pages, 8 figures, 14 tables. Project page: https://xiaji2021.github.io/LOCI/
💡 一句话要点
提出LOCI以解决视频世界模型中的记忆与检索问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频世界模型 空间记忆 递归注意力 长视频处理 内存效率
📋 核心要点
- 现有的视频世界模型在处理长视频时，面临记忆容量和检索效率的挑战，导致重访内容的准确性下降。
- LOCI通过混合空间记忆架构，结合关键值缓存和递归线性注意力记忆，有效地解决了记忆与检索的矛盾。
- 在MIND内存基准测试中，LOCI在重现回访内容的准确性上优于其他模型，并在相同长度下降低了约30%的峰值内存使用。
📝 摘要（中文）
当相机重新访问先前观察过的区域时，视频世界模型需要重现之前的内容。这要求既要记住过去的观察，又要为当前视角检索正确的内容。现有的关键值缓存虽然能保留视觉细节，但随着视频长度的增加而增长；而递归记忆虽然紧凑，但将历史压缩为固定大小的状态，使得单个过去的观察不再直接可访问。本文提出了LOCI，一种混合空间记忆架构，既保留了这两种表示。在一半的变换器块中，主要注意力保持过去观察的关键值缓存；而在另一半中，限制于当前块，并通过递归线性注意力记忆进行补充，其读取和写入受投影相机几何的条件限制，从而使视角进入内存寻址和存储内容。实验结果表明，LOCI在公共MIND内存基准和保留的记录轨迹上，能够比其他代表性世界模型更忠实地重现回访内容。
🔬 方法详解
问题定义：本文旨在解决视频世界模型在重访场景时的记忆与检索问题。现有方法如关键值缓存随着视频长度增长而增加内存需求，而递归记忆则压缩历史信息，导致无法直接访问单个观察。
核心思路：LOCI提出了一种混合空间记忆架构，既保留了关键值缓存以存储过去观察，又引入递归线性注意力记忆以处理当前视角，从而实现高效的记忆与检索。
技术框架：LOCI的整体架构包括两个主要模块：一半的变换器块使用关键值缓存，另一半则限制在当前视频块，并结合递归线性注意力记忆。该设计使得视角信息能够影响内存的寻址和内容存储。
关键创新：LOCI的创新在于将传统的关键值缓存与递归线性注意力相结合，使得在处理长视频时能够保持较低的内存占用，同时提高重访内容的准确性。
关键设计：在设计中，LOCI使用了投影相机几何来条件化读取和写入操作，确保视角信息在内存操作中得到有效利用。此外，模型在相同的内存预算下，能够以恒定内存流式处理长视频。
🖼️ 关键图片
📊 实验亮点
在MIND内存基准测试中，LOCI在重现回访内容的准确性上表现优异，超越了其他代表性世界模型和全软最大模型。在相同长度的视频中，LOCI相较于全软最大模型降低了约30%的峰值内存使用，展现了其在内存效率上的优势。
🎯 应用场景
LOCI的研究成果在多个领域具有潜在应用价值，包括机器人导航、增强现实和视频监控等。通过提高视频内容重现的准确性，LOCI能够为这些应用提供更可靠的环境理解和决策支持，推动智能系统的进一步发展。
📄 摘要（原文）
When a camera revisits a previously observed region, a video world model should reproduce what was there before. This requires both remembering past observations and retrieving the right one for the current viewpoint. Key-value caches preserve visual detail but grow with video length; recurrent memory is compact but compresses history into a fixed-size state, so individual past observations are no longer directly accessible. We introduce LOCI, a hybrid spatial-memory architecture that keeps both representations. In half of the transformer blocks, main attention keeps a key-value cache of past observations; in the other half, it is restricted to the current chunk and complemented by a recurrent linear-attention memory whose reads and writes are conditioned on projective camera geometry, so viewpoint enters both memory addressing and stored content. Recurrent readouts flow into subsequent cache-backed blocks and supply their queries with accumulated scene context. On the public MIND memory benchmark and on held-out recorded trajectories, LOCI reproduces revisited content more faithfully than representative world models and a same-recipe full-softmax model; with full history, it lowers peak memory at equal length by about 30% relative to full softmax. With a bounded bank of retained observations, it streams long videos at constant memory and remains more faithful than full softmax under the same budget.