What VGGT Knows About Overlap: Probing Geometric Foundation Models for Co-Visibility

📄 arXiv: 2607.09503v1 📥 PDF

作者: Filippo Ziliotto, Luciano Serafini, Lamberto Ballan, Tommaso Campari

分类: cs.CV, cs.AI

发布日期: 2026-07-10

💡 一句话要点

提出Co-VGGT以解决3D重建中的共视问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D重建 共视性 机器人定位 几何基础模型 专家混合头 计算机视觉 层次化表示

📋 核心要点

  1. 共视性是3D重建和机器人定位中的核心问题，现有方法在处理重叠最小的图像对时表现不足。
  2. 论文提出Co-VGGT，通过冻结VGGT并训练轻量级的专家混合头，利用每层作为专门的专家来分类共视性。
  3. 在Co-VisiON基准测试中，Co-VGGT的表现超过了人类注释基线，成对预测的校准度良好，提升了25%以上。

📝 摘要（中文）

在3D重建和机器人定位中，共视性是一个基本挑战，尤其是在重叠最小的情况下。本文展示了VGGT模型在没有监督的情况下，如何通过其内部表示隐式编码共视性，形成清晰的层次结构。我们识别出L17层作为负锚点，能够一致地路由非共视对。基于此，我们提出了Co-VGGT，通过冻结VGGT并训练轻量级的专家混合头，仅使用RGB图像分类共视性。在Co-VisiON基准上，Co-VGGT超越了人类注释基线，且在对比先前工作时提高了超过25%的成对和10%的多视图性能。

🔬 方法详解

问题定义：本文旨在解决3D重建中的共视性问题，尤其是在图像对重叠最小的情况下，现有方法难以有效识别共视性。

核心思路：通过分析VGGT模型的内部表示，发现其隐式编码了共视性，并提出Co-VGGT，利用轻量级的专家混合头来分类共视性。

技术框架：整体架构包括冻结VGGT的主干网络，添加一个轻量级的专家混合头，利用每层的几何抽象进行共视性分类。

关键创新：识别出L17层作为负锚点，提供了层次化的共视性推理，展示了几何基础模型的层次专门化特性。

关键设计：Co-VGGT的专家混合头参数少于7.5M，采用自适应加权机制，能够根据输入对动态调整每层的几何抽象。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Co-VGGT在Co-VisiON基准测试中超越了人类注释基线，成对预测的校准度为0.030，提升幅度超过25%和10%。这些结果表明，Co-VGGT在处理共视性问题上具有显著优势，能够直接用于可视化图谱的边权重，无需后期修正。

🎯 应用场景

该研究的潜在应用领域包括3D重建、机器人定位和计算机视觉中的可视化图谱构建。通过提高共视性分类的准确性，能够增强下游任务如结构从运动(SfM)和同步定位与地图构建(SLAM)的性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

A fundamental challenge in 3D reconstruction and robotic localization is co-visibility: determining which image pairs share overlapping visible surfaces, particularly in scenarios with minimal overlap. We demonstrate that VGGT implicitly encodes co-visibility as an emergent behavior: without any supervision for this task, its internal representations exhibit a clear hierarchical structure mirroring that of large language models, i.e. early layers build a 3D-aware scene representation, while late layers act as dedicated co-visibility reasoners. In particular, we identify layer L17 as a negative anchor that consistently routes non-co-visible pairs for this backbone, regardless of the evaluation setting, providing task-grounded evidence of layer specialization in a geometry-grounded foundation model. Building on this, we introduce Co-VGGT, which freezes VGGT and trains only a lightweight layer-wise mixture-of-experts head (less than 7.5M parameters) to classify co-visibility from RGB alone, treating each layer as a specialized expert whose geometric abstraction is adaptively weighted per input pair. On the Co-VisiON benchmark, Co-VGGT surpasses the human annotation baseline and improves over prior work by more than 25% pairwise and 10% multiview. Pairwise predictions are well-calibrated (ECE=0.030), enabling direct use as edge weights in visibility graphs for downstream SfM and SLAM pipelines without post-hoc correction. Code and data are available.