Learning to Retrieve: Internalizing Memory Retrieval for Video World Models
作者: JiaKui Hu, Tailai Chen, Yuqi Pan, Xuerui Qiu, Jialun Liu, Xiao Cao, Zhenxin Zhu, Guang Chen, Hangjun Ye, Bing Wang, Yanye Lu
分类: cs.CV
发布日期: 2026-10-08
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出内化记忆检索机制以解决视频世界模型的场景一致性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频生成 记忆检索 场景一致性 深度学习 三维建模 人工智能
📋 核心要点
- 现有视频世界模型依赖外部记忆系统进行内容检索，导致模型无法内在学习检索行为。
- 本文提出学习检索（L2R），将模型的内部状态转化为历史上下文的记忆，内化检索过程。
- L2R在多个基准测试中显著提高了场景一致性，消除了对外部记忆的依赖，表现出更好的生成效果。
📝 摘要（中文）
视频世界模型旨在生成可探索的、三维一致的场景视频，依赖于相机轨迹。然而，现有方法通常依赖外部记忆系统来检索先前观察到的内容，从而减轻长时间生成过程中的场景漂移。本文提出了一种内化记忆检索的方法，使得检索成为视频世界模型的内在行为，而非依赖外部记忆系统。我们引入了学习检索（L2R），利用模型的持久内部状态作为历史上下文的记忆，通过相机条件检索门选择性访问相关历史信息，并通过检索触发器决定何时进行检索。实验结果表明，L2R在多个基准测试中提高了长期场景一致性，消除了对外部记忆库或三维条件的需求。
🔬 方法详解
问题定义：本文解决视频世界模型在长时间生成过程中场景漂移的问题，现有方法依赖外部记忆系统，限制了模型的内在学习能力。
核心思路：通过内化记忆检索，将模型的内部状态作为历史上下文的记忆，允许模型自主决定何时及如何检索历史信息。
技术框架：整体架构包括相机条件检索门和检索触发器，前者选择性访问相关历史信息，后者决定何时激活检索。
关键创新：L2R的核心创新在于将记忆检索内化为模型生成过程的一部分，使得检索行为不再依赖外部系统，提升了生成的连贯性和一致性。
关键设计：设计中使用了3D可再见性信号来监督检索触发器，确保在先前观察内容重新进入视野时激活检索，同时保持现有上下文不变。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
在多个基准测试中，L2R显著提高了长期场景一致性，相较于基线模型，性能提升幅度达到XX%，有效消除了对外部记忆库的需求。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发和自动驾驶等场景，能够提升生成视频的真实感和一致性，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
Video world models aim to generate explorable, 3D-consistent scene videos conditioned on camera trajectories. Existing approaches often rely on external memory systems that explicitly retrieve previously observed content to mitigate scene drift during long-horizon generation. However, these auxiliary memory pathways operate outside the model's internal generative dynamics, preventing the model from intrinsically learning when and what historical information should be retrieved. We propose to internalize memory retrieval into the generation process, allowing retrieval to emerge as an intrinsic behavior of the video world model rather than relying on an external memory system. Based on this principle, we introduce \textbf{Learning-to-Retrieve (L2R)}, which repurposes the model's persistent internal state as a memory for historical context. A camera-conditioned retrieval gate selectively accesses relevant historical information from this state, determining \textit{what to retrieve}, while a retrieval trigger determines \textit{when to retrieve}. We further supervise the trigger with a 3D re-visibility signal, activating retrieval when previously observed content re-enters the current view while otherwise preserving the existing context. Together, these components enable the model to intrinsically acquire memory retrieval behavior and incorporate relevant historical observations into generation without a separate retrieval pathway. Across multiple base models and camera-revisit benchmarks, L2R improves long-term scene consistency while eliminating the need for an external memory bank or 3D conditions. https://jkhu29.github.io/l2r