MVLoMa: Multi-View Local Feature Matching with Any Geometry Foundation Model

📄 arXiv: 2610.31321v1 📥 PDF

作者: Xinyang Lu, Shengzhe Wei, Sheng Tang, Weiqi Zhang, Juntong Fang, Zesong Li

分类: cs.CV

发布日期: 2026-10-22

备注: Project Page:https://kosmoresearch.github.io/MVLoMa/

💡 一句话要点

提出MVLoMa以解决多视图局部特征匹配问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多视图匹配 局部特征 几何模型 深度学习 计算机视觉

📋 核心要点

  1. 现有局部特征匹配方法在多视图场景中无法有效利用几何信息，导致计算重复和性能下降。
  2. MVLoMa通过引入多视图几何模型，优化了局部特征描述符，并在单次前向传播中实现了高效匹配。
  3. 在多个数据集上，MVLoMa的相对姿态AUC表现优于其他方法，且匹配速度提升了2.20倍。

📝 摘要（中文）

局部特征匹配通常针对图像对进行处理，而在运动重建和视觉定位中，常常需要将一张参考图像与多个邻近图像进行匹配。现有方法在处理这些中心-邻居边时，重复计算参考图像的特征，且无法充分利用多视图几何信息。为了解决这些问题，本文提出了MVLoMa，一种稀疏星图匹配器，能够将LoMa从图像对扩展到多视图。MVLoMa首先使用冻结的多视图几何模型共同描述星形中的所有图像，然后将跨视图几何上下文注入局部描述符中。该方法在单次前向传播中通过每视图自注意力和双向中心-邻居交叉注意力匹配中心图像与所有邻居。实验结果表明，MVLoMa在多个数据集上表现优异，具有更快的匹配速度和更高的准确性。

🔬 方法详解

问题定义：本文旨在解决现有局部特征匹配方法在多视图场景中无法有效利用几何信息的问题。现有方法在处理中心-邻居边时，重复计算参考图像的特征，导致性能下降。

核心思路：MVLoMa的核心思路是使用冻结的多视图几何模型来共同描述所有图像，并将跨视图几何上下文注入局部描述符中，从而提高匹配的准确性和效率。

技术框架：MVLoMa的整体架构包括多个模块：首先，利用多视图几何模型生成图像的几何描述；其次，通过自注意力机制和交叉注意力机制进行特征匹配；最后，使用深度有效的匹配监督来优化匹配结果。

关键创新：MVLoMa的主要创新在于将局部特征匹配从图像对扩展到多视图，利用多视图几何信息来增强特征描述符的表现，显著提高了匹配的准确性和速度。

关键设计：在设计中，MVLoMa采用了深度有效的损失函数，明确惩罚违反极几何的高置信度匹配，同时支持多种冻结几何编码器的使用，确保了方法的灵活性和适应性。

📊 实验亮点

在HyperSim、ScanNet++、Mip-NeRF 360和Tanks and Temples等数据集上，MVLoMa在所有三个阈值下的宏平均相对姿态AUC均优于其他对比方法，分别达到了58.65、85.41和90.99。同时，其匹配速度比传统的24个中心-邻居边的顺序评估快2.20倍。

🎯 应用场景

MVLoMa在计算机视觉领域具有广泛的应用潜力，尤其是在三维重建、机器人导航和增强现实等场景中。通过提高多视图特征匹配的效率和准确性，该方法能够显著提升相关应用的性能，推动相关技术的发展。

📄 摘要（原文）

Local feature matching is typically formulated for image pairs, although structure-from-motion and visual localization commonly match one reference image against many retrieved or covisible neighbours. Applying a pairwise matcher independently to these centre-neighbour edges duplicates reference-side computation and prevents the matcher from exploiting complementary multi-view geometric evidence from the remaining observations. To address these limitations, we introduce MVLoMa, a sparse star-graph matcher that extends LoMa from image pairs to multiple views. MVLoMa first uses a frozen multi-view geometry model to jointly describe all images in a star, then injects the resulting cross-view geometric context into local descriptors. It then matches the centre image to all neighbours in a single forward pass through per-view self-attention and bidirectional centre-neighbour cross-attention. For supervision, we derive positive correspondences only from depth-valid, mutually visible dense warps and explicitly penalize high-confidence matches that violate epipolar geometry. On 25-view star graphs from HyperSim, ScanNet++, Mip-NeRF 360, and Tanks and Temples, MVLoMa obtains the best macro-average relative-pose AUC among the compared methods at all three thresholds (58.65/85.41/90.99). Its matcher is 2.20 times faster than sequential evaluation of the 24 centre-neighbour edges. The same design supports four tested frozen geometry encoders -- DA3, $π^3$, VGGT, and VGGT-$Ω$ -- with DA3-Giant performing best on all reported encoder-ablation metrics. Controlled ablations further isolate the effects of geometry-aware descriptors, visibility filtering, geometric negative supervision, and joint multi-view inference.