FlexGlue: Sparse-to-Dense Feature Matching and Visual Disambiguation

📄 arXiv: 2610.32976v1 📥 PDF

作者: Philipp Lindenberger, Paul-Edouard Sarlin, Ondrej Miksik, Marc Pollefeys

分类: cs.CV

发布日期: 2026-10-23

🔗 代码/项目: GITHUB

💡 一句话要点

提出FlexGlue以解决图像匹配与视觉歧义问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 图像匹配 视觉歧义 深度学习 结构光重建 计算机视觉 稀疏匹配 密集匹配

📋 核心要点

  1. 现有的图像匹配方法在效率与准确性之间存在权衡，稀疏匹配重复性差，密集匹配代价高昂。
  2. FlexGlue通过引入不对称稀疏到密集匹配的神经网络，能够在匹配过程中同时拒绝不匹配的图像对。
  3. 实验结果表明，FlexGlue在多个数据集上显著提升了相对姿态估计的性能，超越了现有方法。

📝 摘要（中文）

为了在图像间估计对应关系，现有方法通常匹配稀疏兴趣点，效率高但重复性有限，或匹配密集像素网格，稳健但代价高昂。此外，这些方法仅通过匹配对进行训练，常常无法拒绝具有视觉对称性的无关对，这在结构光重建等应用中同样重要。为此，本文提出了FlexGlue，一种用于不对称稀疏到密集匹配和歧义消解的神经网络。FlexGlue在给定两幅图像及第一幅图像中点的坐标的情况下，估计第二幅图像中对应点的坐标，同时拒绝不匹配的对。通过在密集像素中搜索有限的对应关系，我们的方法在匹配和歧义消解方面都表现出色，结合了密集匹配的亚像素精度与稀疏匹配的速度，同时高精度地拒绝错误对。实验结果表明，FlexGlue在相对姿态估计上推动了Pareto前沿，并显著优于现有的结构光重建和视觉定位方法。

🔬 方法详解

问题定义：本文旨在解决图像间对应关系的估计问题，现有方法在匹配稀疏兴趣点时效率高但重复性差，而密集匹配则成本高且计算复杂。

核心思路：FlexGlue的核心思想是通过一个神经网络实现不对称的稀疏到密集匹配，同时在匹配过程中能够拒绝不匹配的图像对，从而提高匹配的准确性和效率。

技术框架：FlexGlue的整体架构包括输入两幅图像及第一幅图像中点的坐标，网络通过学习到的特征进行匹配，输出第二幅图像中对应点的坐标，并在此过程中进行不匹配对的拒绝。

关键创新：FlexGlue的主要创新在于其不对称的匹配机制，能够在保持稀疏匹配速度的同时，利用密集匹配的亚像素精度，显著提高了匹配的精度和效率。

关键设计：在网络设计上，FlexGlue采用了特定的损失函数来优化匹配精度，并通过调整网络结构来增强对视觉歧义的处理能力，确保在复杂场景下的高效匹配。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个数据集上的实验结果显示，FlexGlue在相对姿态估计方面的性能显著优于现有方法，具体提升幅度达到XX%，有效推动了Pareto前沿，为视觉定位和结构光重建提供了新的解决方案。

🎯 应用场景

FlexGlue在计算机视觉领域具有广泛的应用潜力，尤其是在结构光重建、视觉定位和机器人导航等场景中。其高效的匹配与歧义消解能力将推动相关技术的发展，提升自动化系统的智能水平和可靠性。

📄 摘要（原文）

To estimate correspondences across images, existing approaches match either sparse interest points, which is highly efficient but limited by repeatability, or dense pixel grids, which is robust but expensive. Furthermore, these approaches are trained with only matching pairs and thus often fail to reject unrelated pairs that exhibit visual symmetries, which is equally important in applications like Structure-from-Motion (SfM). We bridge these gaps by introducing FlexGlue, a neural network for asymmetric sparse-to-dense matching and disambiguation. Given two images and coordinates of points in the first image, FlexGlue estimates the coordinates of the corresponding points in the second image while simultaneously rejecting the pair if non-matching. By searching for a limited set of correspondences among dense pixels, our approach is both fast and effective at both matching and disambiguation: it combines the sub-pixel accuracy of dense matching with the speed of sparse matching, while rejecting incorrect pairs with high precision. Experiments on multiple datasets show that FlexGlue pushes the Pareto frontier in relative pose estimation and significantly outperforms existing approaches for SfM and visual localization. FlexGlue is publicly available at https://github.com/cvg/flexglue .