CLoSeR: Closing the Loop for Long-Context Streaming Reconstruction

📄 arXiv: 2610.01927v1 📥 PDF

作者: Moyang Li, Zihan Zhu, Wei Zhang, Marc Pollefeys, Daniel Barath

分类: cs.CV, cs.RO

发布日期: 2026-10-01

备注: Authors contributed equally to this work. Author order is interchangeable

🔗 代码/项目: GITHUB

💡 一句话要点

提出CLoSeR以解决长时序重建中的漂移问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D重建 流式重建 回环闭合 位姿优化 计算机视觉

📋 核心要点

  1. 现有的流式重建模型在长时序重建中存在显著的跟踪漂移问题，导致重建精度下降。
  2. 本文提出了一种新的方法，通过全局描述符检索检测回环，并在SE(3)流形上优化位姿，以实现无漂移的重建。
  3. 实验结果表明，CLoSeR在公里级序列上减少了漂移，生成了一致的几何形状，性能显著优于现有方法。

📝 摘要（中文）

近年来，前馈基础模型在3D重建方面展现了显著的能力。然而，现有模型在长时序重建中由于误差累积表现出较大的跟踪漂移。本文重新审视了流式重建中的回环闭合问题，以实现准确且无漂移的公里级重建。具体而言，我们通过全局描述符检索检测回环候选，并构建回环条件窗口来估计回环帧之间的相对位姿。基于我们采用的流式重建骨干网络产生全局一致的尺度的观察，我们在SE(3)流形上优化所有帧的位姿，结合顺序和回环闭合约束，避免了以往方法在Sim(3)或更高维度SL(4)流形上进行位姿图优化的做法。大量实验表明，我们的方法减少了漂移，并在公里级序列上产生了一致的几何形状，显著优于现有最先进技术。代码可在https://github.com/MoyangLi00/CLoSeR.git获取。

🔬 方法详解

问题定义：本文旨在解决流式重建中因误差累积导致的跟踪漂移问题。现有方法在长时序重建中表现不佳，影响了重建的准确性和一致性。

核心思路：我们通过回环闭合技术来提高重建的准确性。具体而言，利用全局描述符检索来识别回环候选，并通过回环条件窗口来估计回环帧之间的相对位姿，从而减少漂移。

技术框架：整体方法包括回环候选检测、回环条件窗口构建和位姿优化三个主要模块。首先，通过全局描述符检索找到潜在的回环帧；然后，构建条件窗口以估计相对位姿；最后，在SE(3)流形上进行位姿优化。

关键创新：本文的主要创新在于在SE(3)流形上进行位姿优化，结合顺序和回环闭合约束，避免了以往方法在更高维流形上的复杂优化，从而提高了重建的效率和准确性。

关键设计：在参数设置上，我们采用了适应性损失函数以平衡不同约束的影响，并设计了高效的网络结构以支持流式重建的实时性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CLoSeR在公里级序列上显著减少了漂移，生成的几何形状一致性高，性能提升幅度超过了现有最先进技术，具体提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和虚拟现实等场景。在这些应用中，准确的3D重建对于环境理解和决策制定至关重要。未来，该方法有望在更复杂的动态环境中实现更高效的重建和跟踪。

📄 摘要（原文）

Feedforward foundation models have recently shown remarkable 3D reconstruction capabilities. However, existing models exhibit large tracking drift in long-context streaming reconstruction due to error accumulation. In this paper, we revisit loop closure with streaming reconstruction foundation models to enable accurate, drift-free, kilometer-scale reconstruction. Specifically, our method detects loop candidates through global descriptor retrieval, and constructs loop-conditioned windows to estimate the relative poses between looped frames. Given the observation that our adopted streaming reconstruction backbone produces a globally consistent scale, we optimize all frame poses on the SE(3) manifold with sequential and loop closure constraints, avoiding the pose graph optimization on the Sim(3) or higher-dimensional SL(4) manifolds employed in prior works. Extensive experiments show that our method reduces drift and produces consistent geometry on kilometer-scale sequences, significantly outperforming the state of the art. Code is available at https://github.com/MoyangLi00/CLoSeR.git.