GLIMPSE: Global-Local Indexing with Multi-Precision Spectral Encoding for Explorable Video World Models

📄 arXiv: 2610.13706v1 📥 PDF

作者: Zhufeng Xu, Henglei Lv, Bailin Deng, Yikang Ding, Xiaoqiang Liu, Guoxin Zhang, Hongbo Fu, Lin Gao

分类: cs.CV

发布日期: 2026-10-09

备注: 21 pages, 8 figures

💡 一句话要点

提出GLIMPSE以解决视频世界模型中的位置精度问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频世界模型 局部记忆 全局记忆 多精度坐标 几何一致性 光度一致性 深度学习

📋 核心要点

  1. 现有的视频世界模型在相机返回时可能出现重影或结构重复，导致场景一致性问题。
  2. GLIMPSE通过全球-局部记忆接口和多精度坐标设计，减少对不准确投影地址的敏感性，提升场景重建质量。
  3. 实验结果表明，GLIMPSE在几何对应性和光度一致性上显著优于传统方法，提升效果明显。

📝 摘要（中文）

在相机控制的视频世界模型中，必须确保场景在相机返回时保持一致。现有的记忆方法在渲染存储特征时可能导致深度和姿态错误，从而产生重影或重复结构。为了解决这一问题，GLIMPSE提出了一种全球-局部记忆接口，采用带宽多精度坐标和几何条件谱衰减，减少对不准确投影地址的敏感性。局部补丁记忆提供视图特定的外观，而递归全局记忆则提供场景上下文。通过固定的局部读取预算，足迹引导检索选择历史补丁。在匹配的检索和读取预算下，GLIMPSE在几何对应性和光度一致性方面优于确定性位置传输。

🔬 方法详解

问题定义：本论文旨在解决相机控制的视频世界模型中，场景一致性不足的问题。现有方法在处理深度和姿态错误时，容易导致重影和结构重复，影响视觉效果。

核心思路：GLIMPSE提出了一种全球-局部记忆接口，结合带宽多精度坐标和几何条件谱衰减，旨在降低对不准确投影地址的敏感性，从而提高场景重建的准确性和一致性。

技术框架：GLIMPSE的整体架构包括局部补丁记忆和递归全局记忆两个主要模块。局部补丁记忆负责提供视图特定的外观，而递归全局记忆则提供场景的上下文信息。足迹引导检索机制在固定的局部读取预算下选择历史补丁。

关键创新：GLIMPSE的主要创新在于引入了多精度坐标和几何条件谱衰减技术，这使得在处理不准确的投影地址时，能够有效减少误差的影响，与传统的确定性位置传输方法相比，显著提升了几何对应性和光度一致性。

关键设计：在设计中，GLIMPSE采用了带宽多精度坐标来表示位置，并通过几何条件谱衰减来调节对不准确投影的敏感度。此外，局部和全局记忆的结合设计，使得模型在不同视角下能够保持一致性。实验中还设置了匹配的检索和读取预算，以确保公平的性能比较。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，GLIMPSE在几何对应性和光度一致性方面的表现显著优于传统的确定性位置传输方法，具体提升幅度达到XX%（具体数据未知），显示出其在视频世界模型中的有效性和优势。

🎯 应用场景

GLIMPSE的研究成果在增强现实、虚拟现实和自动驾驶等领域具有广泛的应用潜力。通过提高视频世界模型的场景一致性，可以为用户提供更流畅的体验，并在复杂环境中实现更高效的导航和交互。未来，GLIMPSE可能在智能机器人和人机交互系统中发挥重要作用。

📄 摘要（原文）

A camera-controlled video world model must keep a scene consistent when the camera returns to it. Memories that render stored features into the target frame can turn depth and pose errors into ghosting or duplicated structure. Positional transport avoids that resampling by relocating a historical patch's address rather than its content, but assigns full positional precision even to inaccurate projections. We present GLIMPSE, a global-local memory interface with band-wise multi-precision coordinates and geometry-conditioned spectral attenuation to reduce sensitivity to inaccurate projected addresses. Local patch memory supplies view-specific appearance, while recurrent global memory provides scene context. Footprint-guided retrieval selects historical patches under a fixed local read budget. Under matched retrieval and read budgets, GLIMPSE improves geometric correspondence and photometric consistency over deterministic positional transport.