Remember, Revisit, Revise: Scaffold Memory for Long-Horizon 3D Geometry

📄 arXiv: 2610.19674v1 📥 PDF

作者: Soumick Sarker, Mengmi Zhang

分类: cs.CV

发布日期: 2026-10-14

备注: 40 pages, 3 main figures, 3 supplementary figures

💡 一句话要点

提出SMORE框架以解决长序列3D几何重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 3D几何重建 外部记忆 姿态估计 深度学习 SLAM 多视角重建

📋 核心要点

  1. 现有几何模型在长时间序列中保持一致的重建效果存在显著挑战，尤其是姿态和重建误差的累积问题。
  2. 本文提出的SMORE框架通过引入可修正的外部记忆，允许模型在长序列推理中存储和修正过去的观察。
  3. 实验结果显示，SMORE在长序列姿态估计上有显著提升，减少多视角深度误差高达58%，并在SLAM中实现了平均轨迹误差低至2.9厘米。

📝 摘要（中文）

几何基础模型从视频序列中估计相机姿态和3D场景结构，但在长时间跨度内保持一致的重建仍然具有挑战性。现有的前馈模型将长序列视为独立的固定长度帧窗口，导致姿态和重建误差在窗口间累积。为了解决这一问题，本文提出了可修正的外部记忆框架SMORE，灵感来自生物大脑的海马体联想记忆，能够将观察者的位置与其观察到的内容关联，从而存储、检索和修正过去的观察。实验表明，SMORE在多个几何模型上均显著提高了长序列姿态估计的准确性，减少了多视角深度误差和3D点云重建的Chamfer距离，展现了其在大规模3D场景重建中的潜力。

🔬 方法详解

问题定义：本文旨在解决长时间序列中3D几何重建的一致性问题。现有方法在处理长序列时，往往将其视为独立的固定长度窗口，导致姿态和重建误差的累积，无法有效修正早期估计。

核心思路：SMORE框架的核心思想是引入可修正的外部记忆，灵感来源于生物大脑的海马体记忆机制。该框架能够将观察者的空间位置与其观察内容关联，从而在后续观察中对过去的估计进行修正。

技术框架：SMORE的整体架构包括三个主要模块：外部记忆模块、信息检索模块和修正模块。外部记忆模块存储历史观察，信息检索模块根据当前观察提取相关信息，修正模块则依据新证据对过去的估计进行修正。

关键创新：SMORE的主要创新在于引入了可修正的外部记忆机制，使得几何模型能够在长序列推理中动态调整和优化估计。这一设计与现有方法的固定上下文预测形成鲜明对比。

关键设计：在技术细节上，SMORE采用了特定的损失函数来平衡记忆的存储和修正过程，同时在网络结构上设计了高效的信息检索机制，以确保快速响应新观察带来的信息更新。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SMORE在所有评估的几何模型中均显著提升了长序列姿态估计的准确性，减少多视角深度误差高达58%，3D点云重建的Chamfer距离降低了43%，在SLAM任务中实现了平均轨迹误差仅为2.9厘米，展现了其优越的性能。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、增强现实和机器人导航等。通过提高长序列3D几何重建的准确性，SMORE能够为这些领域提供更可靠的环境理解和决策支持，推动智能系统的进一步发展。

📄 摘要（原文）

Geometry foundation models estimate camera poses and 3D scene structure from video sequences, but maintaining consistent reconstructions over long horizons remains challenging. Feed-forward models process long sequences as independent, fixed-length frame windows and align their predictions, causing pose and reconstruction errors to accumulate across windows. Streaming models retain information from past frames to inform future predictions, but cannot revise earlier estimates when later observations reveal errors. To address this, we introduce Scaffold MemOry for Revision (SMORE), a framework equipping frozen geometry foundation models with a revisable external memory for long-horizon inference. Inspired by hippocampal associative memory in biological brains, which links spatial context with sensory experience, SMORE associates where an observer is with what it observes, enabling past observations to be stored, retrieved, verified against new evidence, and revised when inconsistencies are detected. We evaluate SMORE with eight competitive geometry models on five datasets spanning camera pose estimation, multi-view depth estimation, 3D point-cloud reconstruction, simultaneous localization and mapping (SLAM), and novel view synthesis. Across all evaluated models, SMORE consistently improves long-sequence pose estimation, reduces multi-view depth error by up to 58%, reduces Chamfer distance for 3D point-cloud reconstruction by up to 43%, and achieves average trajectory error as low as 2.9 cm in long-horizon SLAM. By retaining corrected poses and observations, SMORE further improves the fidelity and spatial consistency of large-scale 3D scene reconstruction. These results establish revisable external memory as a flexible interface for extending pretrained geometry models beyond fixed-context prediction toward iterative, error-correcting inference over long visual sequences.