Reloc-VGGT: Visual Re-localization with Geometry Grounded Transformer

📄 arXiv: 2512.21883v1 📥 PDF

作者: Tianchen Deng, Wenhua Wu, Kunzhen Wu, Guangming Wang, Siting Zhu, Shenghai Yuan, Xun Chen, Guole Shen, Zhe Liu, Hesheng Wang

分类: cs.CV

发布日期: 2025-12-26

🔗 代码/项目: GITHUB

💡 一句话要点

提出Reloc-VGGT，利用几何约束Transformer实现鲁棒高效的视觉重定位

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 视觉重定位 多视角几何 Transformer网络 姿态估计 早期融合

📋 核心要点

  1. 现有视觉定位方法主要通过估计图像对之间的相对姿态，然后采用后期融合策略获得绝对姿态，空间信息集成不足，精度受限。
  2. Reloc-VGGT通过早期融合机制进行多视角空间集成，利用VGGT骨干网络编码3D几何信息，并设计姿态标记器和投影模块。
  3. 提出的稀疏掩码注意力策略降低了计算复杂度，实现了大规模实时性能，并在多个数据集上验证了其有效性和泛化能力。

📝 摘要（中文）

本文提出了一种新的视觉重定位框架Reloc-VGGT，该框架通过早期融合机制执行多视角空间集成，从而在结构化和非结构化环境中实现稳健运行。该框架基于VGGT骨干网络，编码多视角3D几何信息，并引入了姿态标记器和投影模块，以更有效地利用来自多个数据库视角的空间关系。此外，本文提出了一种新的稀疏掩码注意力策略，通过避免全局注意力的二次复杂度来降低计算成本，从而实现大规模的实时性能。Reloc-VGGT在约八百万个带姿态图像对上进行训练，展示了强大的准确性和显著的泛化能力。在各种公共数据集上的大量实验一致验证了该方法的有效性和效率，在实时提供高质量相机姿态估计的同时，保持了对未见环境的鲁棒性。

🔬 方法详解

问题定义：视觉重定位旨在确定相机在已知环境中的精确位置和姿态。现有方法通常依赖于图像对之间的相对姿态估计，然后通过后期融合（late-fusion）策略获得全局一致的姿态估计。这种后期融合的方式难以有效整合多视角信息，尤其是在复杂或动态环境中，导致定位精度下降。

核心思路：Reloc-VGGT的核心思路是进行多视角信息的早期融合（early-fusion），从而更有效地利用空间几何约束。通过将多个数据库视角的图像信息在特征提取阶段就进行融合，模型能够更好地理解场景的3D结构，从而提高定位的准确性和鲁棒性。

技术框架：Reloc-VGGT的整体框架包括以下几个主要模块：1) VGGT骨干网络：用于提取多视角图像的特征，并编码3D几何信息。2) 姿态标记器（Pose Tokenizer）：将姿态信息转换为可学习的token，以便与图像特征进行融合。3) 投影模块（Projection Module）：将不同视角的特征投影到统一的空间中，实现特征的对齐和融合。4) Transformer网络：利用Transformer进行多视角特征的融合和姿态估计。

关键创新：Reloc-VGGT的关键创新在于：1) 提出了基于VGGT骨干网络的多视角几何信息编码方法。2) 引入了姿态标记器和投影模块，实现了姿态信息与图像特征的有效融合。3) 提出了稀疏掩码注意力（Sparse Mask Attention）策略，降低了Transformer的计算复杂度，使其能够应用于大规模场景的实时定位。

关键设计：稀疏掩码注意力是关键设计之一，它通过限制每个query只能关注部分相关的key，从而避免了全局注意力的二次复杂度。具体的掩码策略（masking strategy）未知，但其目的是在保证性能的同时，显著降低计算量。损失函数和网络结构的具体细节在论文中可能有所描述，但摘要中未提及。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Reloc-VGGT在多个公开数据集上进行了广泛的实验验证，结果表明其在定位精度和鲁棒性方面均优于现有方法。该方法能够在实时提供高质量相机姿态估计的同时，保持对未见环境的鲁棒性。具体性能数据和对比基线需要在论文全文中查找。

🎯 应用场景

Reloc-VGGT具有广泛的应用前景，包括：机器人导航、自动驾驶、增强现实、虚拟现实、无人机定位等。该方法能够在高精度和实时性之间取得平衡，使其适用于对定位精度和速度都有要求的场景。未来，该研究可以进一步扩展到动态环境和更大规模的场景。

📄 摘要（原文）

Visual localization has traditionally been formulated as a pair-wise pose regression problem. Existing approaches mainly estimate relative poses between two images and employ a late-fusion strategy to obtain absolute pose estimates. However, the late motion average is often insufficient for effectively integrating spatial information, and its accuracy degrades in complex environments. In this paper, we present the first visual localization framework that performs multi-view spatial integration through an early-fusion mechanism, enabling robust operation in both structured and unstructured environments. Our framework is built upon the VGGT backbone, which encodes multi-view 3D geometry, and we introduce a pose tokenizer and projection module to more effectively exploit spatial relationships from multiple database views. Furthermore, we propose a novel sparse mask attention strategy that reduces computational cost by avoiding the quadratic complexity of global attention, thereby enabling real-time performance at scale. Trained on approximately eight million posed image pairs, Reloc-VGGT demonstrates strong accuracy and remarkable generalization ability. Extensive experiments across diverse public datasets consistently validate the effectiveness and efficiency of our approach, delivering high-quality camera pose estimates in real time while maintaining robustness to unseen environments. Our code and models will be publicly released upon acceptance.https://github.com/dtc111111/Reloc-VGGT.