LONG3R: Long Sequence Streaming 3D Reconstruction

📄 arXiv: 2507.18255v1 📥 PDF

作者: Zhuoguang Chen, Minghui Qin, Tianyuan Yuan, Zhe Liu, Hang Zhao

分类: cs.CV

发布日期: 2025-07-24

备注: Accepted by ICCV 2025. Project page: https://zgchen33.github.io/LONG3R/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出LONG3R以解决长序列流媒体3D重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 长序列重建 流媒体处理 3D重建 记忆网络 实时推理

📋 核心要点

  1. 现有的多视角场景重建方法在处理长序列输入时效率低下，无法满足实时应用需求。
  2. LONG3R通过递归操作和记忆更新机制，实现了对长序列的实时3D重建，克服了传统方法的局限。
  3. 实验结果显示，LONG3R在长序列处理上显著优于现有流媒体方法，且保持了实时推理速度。

📝 摘要（中文）

近年来，多视角场景重建的进展显著，但现有方法在处理输入图像流时存在局限。这些方法通常依赖耗时的离线优化或仅限于较短序列，限制了其在实时场景中的应用。本文提出了LONG3R（长序列流媒体3D重建），旨在实现对长序列的流媒体多视角3D场景重建。我们的模型通过递归操作实现实时处理，并在每次新观察时维护和更新记忆。我们首先采用记忆门控机制过滤相关记忆，并将其与新观察一起输入到双源精细解码器进行粗到细的交互。为了有效捕捉长序列记忆，我们提出了一种动态修剪冗余空间信息的3D时空记忆，同时自适应调整场景的分辨率。实验表明，LONG3R在长序列上优于现有流媒体方法，同时保持实时推理速度。

🔬 方法详解

问题定义：本文旨在解决现有多视角场景重建方法在处理长序列输入时的效率低下和实时性不足的问题。现有方法通常依赖于离线优化或仅适用于短序列，限制了其在动态场景下的应用。

核心思路：LONG3R的核心思路是通过递归处理和记忆更新机制，实现对长序列的实时3D重建。通过记忆门控机制过滤相关信息，并结合新观察进行动态更新，提升了模型对长序列的处理能力。

技术框架：LONG3R的整体架构包括记忆门控模块、双源精细解码器和3D时空记忆模块。记忆门控模块负责过滤和选择相关记忆，双源精细解码器实现粗到细的重建，而3D时空记忆模块则动态修剪冗余信息并调整分辨率。

关键创新：LONG3R的主要创新在于引入了3D时空记忆机制，能够有效捕捉长序列中的重要信息，并自适应调整空间分辨率。这一设计与传统方法的静态记忆结构形成了鲜明对比。

关键设计：在模型设计中，采用了两阶段的课程训练策略，针对不同能力进行训练，以提高模型在长序列处理上的性能。此外，记忆门控机制和双源精细解码器的结合也是关键设计之一。通过这些设计，LONG3R在保持实时推理速度的同时，显著提升了重建精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LONG3R在长序列流媒体3D重建任务中，相较于现有最先进的方法，性能提升显著。具体而言，在处理长序列时，LONG3R的重建精度提高了XX%，且推理速度保持在实时范围内，展示了其优越性。

🎯 应用场景

LONG3R的研究成果在多个领域具有广泛的应用潜力，包括虚拟现实、增强现实、自动驾驶和机器人导航等。通过实现高效的长序列3D重建，该技术能够为实时场景理解和交互提供支持，推动相关领域的发展。

📄 摘要（原文）

Recent advancements in multi-view scene reconstruction have been significant, yet existing methods face limitations when processing streams of input images. These methods either rely on time-consuming offline optimization or are restricted to shorter sequences, hindering their applicability in real-time scenarios. In this work, we propose LONG3R (LOng sequence streaming 3D Reconstruction), a novel model designed for streaming multi-view 3D scene reconstruction over longer sequences. Our model achieves real-time processing by operating recurrently, maintaining and updating memory with each new observation. We first employ a memory gating mechanism to filter relevant memory, which, together with a new observation, is fed into a dual-source refined decoder for coarse-to-fine interaction. To effectively capture long-sequence memory, we propose a 3D spatio-temporal memory that dynamically prunes redundant spatial information while adaptively adjusting resolution along the scene. To enhance our model's performance on long sequences while maintaining training efficiency, we employ a two-stage curriculum training strategy, each stage targeting specific capabilities. Experiments demonstrate that LONG3R outperforms state-of-the-art streaming methods, particularly for longer sequences, while maintaining real-time inference speed. Project page: https://zgchen33.github.io/LONG3R/.