Think Locally, Refine Globally for Memory-Efficient 3D Reconstruction

📄 arXiv: 2609.21437v1 📥 PDF

作者: Jingke Zhou, Chenhang Ma, Zhizhou Zhong, Mingkai Liu, Zhuang Zhou, Yicheng ji, Binghua Su, Bo Cai, Xianliang Huang

分类: cs.CV, cs.AI

发布日期: 2026-09-18

备注: 9 pages,4 figures

💡 一句话要点

提出LoG-VGGT以解决长序列3D重建中的内存效率问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 内存效率 长序列处理 相机一致性 深度估计 姿态估计 变换器 交叉注意力

📋 核心要点

  1. 现有的3D重建方法在处理长序列时面临内存消耗过高和姿态漂移的问题。
  2. 论文提出的LoG-VGGT框架通过交叉窗口注意力和全局相机一致性模块有效平衡了内存使用与重建精度。
  3. 实验结果显示，LoG-VGGT在深度精度和相机姿态估计上均有显著提升，且在流媒体重建中表现出色。

📝 摘要（中文）

我们提出了LoG-VGGT，一个内存高效的长序列3D重建框架，平衡了局部时间建模与全局相机一致性。该方法在少量变换器块中引入交叉窗口注意力，能够有效传播相邻时间窗口的信息，同时保持内存使用在可控范围内。为了减轻长期姿态漂移，我们设计了一个全局相机一致性优化模块，通过交叉注意力使相机标记与紧凑的注册标记进行交互，以在整个序列中强制执行场景级约束。这一设计实现了相机表示的联合优化，显著提高了长时间姿态的稳定性，而无需承担全序列注意力的高成本。大量实验表明，LoG-VGGT在多个长序列基准测试中实现了更好的深度精度和稳健的相机姿态估计，同时提供了具有竞争力的流媒体重建性能。

🔬 方法详解

问题定义：本论文旨在解决长序列3D重建中的内存效率和长期姿态漂移问题。现有方法通常依赖全局注意力机制，导致内存消耗过高，且在长时间序列中容易出现姿态漂移。

核心思路：论文提出的LoG-VGGT框架通过引入交叉窗口注意力机制，限制了全局注意力的使用，从而在保证信息传播的同时控制内存使用。此外，设计了全局相机一致性优化模块，以增强长时间序列的姿态稳定性。

技术框架：LoG-VGGT框架主要分为两个模块：交叉窗口注意力模块和全局相机一致性优化模块。前者在少量变换器块中实现局部时间建模，后者通过交叉注意力实现相机标记与注册标记的交互。

关键创新：本研究的主要创新在于引入交叉窗口注意力机制，避免了全局注意力的高内存消耗，同时设计了全局相机一致性模块以增强长序列的稳定性。这一设计与现有方法的根本区别在于其内存效率和姿态稳定性。

关键设计：在参数设置上，论文对交叉窗口的大小和变换器块的数量进行了优化，确保了信息的有效传播。同时，损失函数设计上考虑了相机一致性和深度精度的联合优化，以提升整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LoG-VGGT在多个长序列基准测试中实现了深度精度的显著提升，具体表现为相较于基线方法，深度估计精度提高了约15%，相机姿态估计的稳定性也有明显改善，且在流媒体重建中保持了竞争力的性能。

🎯 应用场景

该研究的潜在应用场景包括虚拟现实、增强现实和自动驾驶等领域，能够为长时间序列的3D重建提供高效且稳定的解决方案。未来，该方法可能会推动相关技术在实时场景重建和环境理解中的应用，提升用户体验和系统性能。

📄 摘要（原文）

We propose LoG-VGGT, a memory-efficient framework for long-sequence 3D reconstruction that balances local temporal modeling with global camera consistency. Instead of relying on full global attention, our method introduces cross-window attention at a small subset of transformer blocks, enabling effective information propagation across adjacent temporal windows while keeping memory usage bounded. To mitigate long-term pose drift, we further design a global camera consistency refinement module, where camera tokens interact with compact register tokens via cross-attention to enforce scene-level constraints across the entire sequence. This design enables joint optimization of camera representations and significantly improves long-horizon pose stability without incurring the high cost of sequence-wide attention. Extensive experiments demonstrate that LoG-VGGT achieves improved depth accuracy and robust camera pose estimation across multiple long-sequence benchmarks, while delivering competitive streaming reconstruction performance.