GeoCond: A Conditioning-Aware Reliability Adapter for Feed-Forward 3D Reconstruction

📄 arXiv: 2609.18465v1 📥 PDF

作者: David Ahmedt-Aristizabal, Mohammad Ali Armin, Russell Tsuchida, Lars Petersson

分类: cs.CV

发布日期: 2026-09-16

💡 一句话要点

提出GeoCond以解决低重叠和极端旋转下的3D重建可靠性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D重建 几何条件 可靠性适配器 前馈模型 无声失败 自我监督 姿态不确定性

📋 核心要点

  1. 现有的前馈3D重建模型在特定条件下（如低重叠和极端旋转）容易出现无声失败，导致重建结果不可靠。
  2. GeoCond通过引入一个可靠性适配器，能够在不改变基础模型的情况下，输出姿态级的不确定性和精炼门，从而提高重建的可靠性。
  3. 在VGGT模型上，GeoCond显著降低了OOD AUSE，从0.32降至0.20，并成功实现了在户外极端视角场景的零-shot迁移。

📝 摘要（中文）

现有的前馈3D基础模型如VGGT在低重叠、低视差和极端相对旋转的情况下可能会出现无声失败。通过对这些因素的分层分析，发现这些失败与几何条件有关，而原生的随机信心度无法有效捕捉。为此，本文提出了GeoCond，一个轻量级的可靠性适配器，能够读取基础模型的几何预测并输出姿态级的不确定性和精炼门。在训练过程中，GeoCond可以通过帧置换轨道方差、真实姿态误差或未标记独立姿态图的循环残差进行监督。在推理阶段，GeoCond仅需一次基础模型的前向传播和一个小型多层感知机。实验结果表明，GeoCond在VGGT上将OOD AUSE从0.32提升至0.20，并在户外极端视角场景中实现零-shot迁移。

🔬 方法详解

问题定义：本文旨在解决现有前馈3D重建模型在低重叠、低视差和极端相对旋转情况下的无声失败问题。这些失败通常与几何条件有关，而原生的随机信心度无法有效捕捉这些不确定性。

核心思路：GeoCond的核心思路是通过引入一个轻量级的可靠性适配器，读取基础模型的几何预测，并输出姿态级的不确定性和精炼门。这样设计的目的是在不改变基础模型的情况下，提高重建结果的可靠性。

技术框架：GeoCond的整体架构包括三个主要模块：基础模型的几何预测模块、可靠性适配器模块和输出模块。训练过程中，适配器可以通过多种方式进行监督，而推理阶段则只需一次前向传播和一个小型多层感知机。

关键创新：GeoCond的主要创新在于其能够在不依赖真实标签的情况下，通过循环残差等方法进行自我监督，从而提供了一种新的适应性路径。这与现有方法的本质区别在于，GeoCond不仅关注几何预测，还关注何时应信任这些预测。

关键设计：在设计上，GeoCond使用了帧置换轨道方差作为损失函数，并通过小型多层感知机进行输出。其网络结构轻量化，确保在推理时的高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在VGGT模型上，GeoCond显著改善了OOD AUSE，从0.32降低至0.20，表明其在处理不确定性方面的有效性。此外，GeoCond成功实现了在户外极端视角场景的零-shot迁移，展示了其广泛的适用性。

🎯 应用场景

GeoCond的研究成果在自动驾驶、机器人导航和增强现实等领域具有广泛的应用潜力。通过提高3D重建的可靠性，GeoCond能够为这些应用提供更准确的环境感知和决策支持，进而提升系统的整体性能和安全性。

📄 摘要（原文）

Feed-forward 3D foundation models such as VGGT predict cameras, depth, and point maps in a single pass, but can fail silently under low overlap, low parallax, and extreme relative rotation. Stratified analyses over these factors show that these failures are governed by geometric conditioning and are poorly captured by native aleatoric confidence. We introduce GeoCond, a lightweight reliability adapter for frozen feed-forward 3D backbones. GeoCond reads the backbone's predicted geometry and outputs pose-level uncertainty and a refinement gate. During training, it can be supervised by frame-permutation orbit variance, ground-truth pose error when labels are available, or cycle residuals from unlabelled independent pose graphs. At inference, the default head requires only one backbone pass and a small MLP. On VGGT, GeoCond improves out-of-distribution (OOD) AUSE (area under the sparsification-error curve; lower is better) from $0.32$ to $0.20$ over native confidence, transfers zero-shot to outdoor extreme-view scenes, and avoids the collapse caused by applying bundle adjustment uniformly. Across multiple backbones, cycle-distilled variants provide a ground-truth-free adaptation route, including cases where permutation variance vanishes on equivariant models. The same reliability signal supports gated refinement, pose-graph weighting, calibration, curation, and capture decisions. Reliable feed-forward 3D reconstruction requires not only predicting geometry, but also knowing when that geometry should be trusted.