MVDG: Efficient Multi-view 3D Disambiguation on Unconstrained Real-World Images

📄 arXiv: 2610.01098v1 📥 PDF

作者: Hanyuan Xiao, Gonglin Chen, Haolin Xiong, Wenbin Teng, Haiwei Chen, Yajie Zhao

分类: cs.CV

发布日期: 2026-10-01

💡 一句话要点

提出MVDG框架以解决多视图3D重建中的歧义问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多视图重建 3D歧义消解 视觉定位 深度学习 计算机视觉

📋 核心要点

  1. 现有方法依赖成对分类器，导致多视图上下文推理受限，并且推理复杂度高。
  2. 提出MVDG框架，通过3D感知的多视图特征，减少成对比较依赖，实现高效推理。
  3. 实验结果显示，MVDG在成对准确度上与基线相当，同时提升了SfM准确度和推理速度。

📝 摘要（中文）

在大规模、复杂环境下的3D重建与视觉定位中，视觉相似但不同的3D表面之间的虚假匹配（即双胞胎问题）是一个基本障碍。现有方法通过成对分类器来缓解这一问题，但这种设计限制了多视图上下文推理，并导致O(n^2)的推理复杂度。本文提出了MVDG，一个基于3D基础模型VGGT的可扩展多视图歧义消解框架，能够对任意数量的多视图图像进行联合推理。通过引入3D感知的多视图特征，我们的方法减少了对成对比较的依赖，并在单次传递中编码和解码视图。实验表明，我们的方法在保持成对准确度的同时，提高了SfM准确度和推理速度。

🔬 方法详解

问题定义：本文旨在解决在复杂环境下进行3D重建时，视觉相似但不同的3D表面之间的虚假匹配问题。现有方法依赖成对分类器，导致推理复杂度高且多视图上下文推理能力不足。

核心思路：MVDG框架通过引入3D感知的多视图特征，允许对任意数量的多视图图像进行联合推理，从而减少对成对比较的依赖，提升推理效率和准确性。

技术框架：MVDG框架基于VGGT模型，主要包括特征编码、视图解码和伪成对训练集构建等模块。通过对多视图图像进行单次传递处理，框架能够高效地进行3D歧义消解。

关键创新：最重要的创新在于构建了一个伪成对训练集，利用AerialMegaDepth数据集，解决了在噪声监督下VGGT的多视图微调不稳定问题。与现有方法相比，MVDG在处理多视图图像时具有更高的稳定性和更强的泛化能力。

关键设计：在模型设计中，采用了特定的损失函数以优化多视图特征的学习，并通过对样本子集进行微调来实现稳定的优化过程。此外，框架还通过处理伪成对数据集来进行高效验证，建立了常规SfM指标与分类准确度之间的预测关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MVDG框架在成对准确度上与基线方法相当，同时在SfM准确度上提高了显著的性能，并且推理速度也得到了提升。具体来说，MVDG在处理复杂场景时的效率和准确性均优于现有方法，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括无人驾驶、增强现实和机器人导航等。通过提高3D重建的准确性和效率，MVDG框架能够在复杂环境中实现更可靠的视觉定位，推动相关技术的发展和应用。未来，随着数据集和模型的进一步优化，MVDG有望在更多实际场景中得到应用。

📄 摘要（原文）

Illusory matches between distinct yet visually similar 3D surfaces--doppelgangers--remain a fundamental obstacle for large-scale, in-the-wild 3D reconstruction and visual localization. Prior work mitigates this issue with pairwise classifiers, but this design limits multi-view contextual reasoning and incurs O(n^2) inference complexity for downstream structure-from-motion (SfM). We present MVDG, a scalable multi-view disambiguation framework built on the 3D foundation model VGGT, which jointly reasons over an arbitrary number of multiview images. By incorporating 3D-aware multi-view features, our method reduces dependence on pairwise comparisons by encoding and decoding views in a single pass. We further observe that direct multi-view fine-tuning of VGGT can be unstable under noisy supervision; motivated by label ambiguity in Doppelgangers, we construct a pseudo-pairwise training set from AerialMegaDepth and show that fine-tuning on sampled subsets yields stable optimization and strong generalization to held-out scenes. Finally, because full SfM evaluation (even with faster pipelines such as GLOMAP) remains expensive, we process a pseudo-pairwise dataset for efficient validation; we derive a predictive relationship between regular SfM metrics and the classification accuracy on this pseudo-pairwise test. Experiments show that our method achieves comparable pairwise accuracy while improving both SfM accuracy and inference speed over baselines.