Unlocking Zero-shot Potential of Semi-dense Image Matching via Gaussian Splatting

📄 arXiv: 2511.21265v1 📥 PDF

作者: Juncheng Chen, Chao Xu, Yanjun Cao

分类: cs.CV

发布日期: 2025-11-26

💡 一句话要点

MatchGS：利用高斯溅射解锁半稠密图像匹配的零样本潜力

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 图像匹配 零样本学习 3D高斯溅射 数据生成 几何校正

📋 核心要点

  1. 现有学习型图像匹配方法依赖大规模、高质量训练数据，但获取成本高昂，泛化性受限。
  2. MatchGS通过几何校正的3D高斯溅射生成高质量训练数据，并设计2D-3D表示对齐策略，提升匹配器性能。
  3. 实验表明，仅用MatchGS生成的数据训练的匹配器，在零样本场景下性能提升高达17.7%。

📝 摘要（中文）

基于学习的图像匹配严重依赖于大规模、多样化和几何精确的训练数据。3D高斯溅射(3DGS)能够实现逼真的新视角合成，因此对数据生成具有吸引力。然而，其几何不准确性和有偏差的深度渲染目前阻碍了鲁棒的对应关系标记。为了解决这个问题，我们提出了MatchGS，这是第一个旨在系统地校正和利用3DGS进行鲁棒零样本图像匹配的框架。我们的方法是双重的：(1)一个几何上忠实的数据生成管道，它细化3DGS几何体以产生高度精确的对应关系标签，从而能够在不影响渲染保真度的情况下合成大量且多样化的视点；(2)一种2D-3D表示对齐策略，将3DGS的显式3D知识注入到2D匹配器中，引导2D半稠密匹配器学习视点不变的3D表示。我们生成的ground-truth对应关系将极线误差降低了高达40倍，实现了在极端视点变化下的监督，并通过高斯属性提供了自监督信号。因此，仅在我们数据上训练的最先进的匹配器在公共基准上实现了显著的零样本性能提升，提升高达17.7%。我们的工作表明，通过适当的几何细化，3DGS可以作为一种可扩展、高保真和结构丰富的数据源，为新一代鲁棒的零样本图像匹配器铺平道路。

🔬 方法详解

问题定义：现有的学习型图像匹配方法严重依赖于大规模、多样且几何精确的训练数据。然而，获取此类数据成本高昂，并且模型的泛化能力受到限制，尤其是在零样本场景下。3D高斯溅射（3DGS）虽然可以生成逼真的新视角图像，但其几何不准确性和深度渲染偏差阻碍了其在图像匹配任务中的应用。因此，如何利用3DGS生成高质量的训练数据，并提升匹配器在零样本场景下的性能，是一个亟待解决的问题。

核心思路：MatchGS的核心思路是首先通过几何校正的3DGS生成高质量的训练数据，然后设计一种2D-3D表示对齐策略，将3DGS的显式3D知识注入到2D匹配器中，从而引导匹配器学习视点不变的3D表示。通过这种方式，MatchGS能够有效地利用3DGS的优势，克服其几何不准确性的缺点，从而提升匹配器在零样本场景下的性能。

技术框架：MatchGS的整体框架包含两个主要阶段：(1) 几何忠实的数据生成管道：该管道首先对3DGS的几何体进行细化，以产生高度精确的对应关系标签。然后，利用细化后的3DGS生成大量且多样化的视点图像，同时保证渲染的保真度。(2) 2D-3D表示对齐策略：该策略将3DGS的显式3D知识注入到2D匹配器中，引导2D半稠密匹配器学习视点不变的3D表示。这两个阶段相互配合，共同提升匹配器在零样本场景下的性能。

关键创新：MatchGS最重要的技术创新点在于其几何忠实的数据生成管道和2D-3D表示对齐策略。几何忠实的数据生成管道通过对3DGS的几何体进行细化，有效地克服了3DGS几何不准确性的缺点，从而生成了高质量的训练数据。2D-3D表示对齐策略则将3DGS的显式3D知识注入到2D匹配器中，从而引导匹配器学习视点不变的3D表示。与现有方法相比，MatchGS能够更有效地利用3DGS的优势，从而提升匹配器在零样本场景下的性能。

关键设计：在几何忠实的数据生成管道中，论文可能使用了某种优化算法来细化3DGS的几何体，例如最小化重投影误差或深度一致性损失。在2D-3D表示对齐策略中，论文可能使用了某种对比学习损失或知识蒸馏技术，将3DGS的显式3D知识传递给2D匹配器。具体的网络结构和参数设置未知，需要参考论文原文。

📊 实验亮点

实验结果表明，MatchGS生成的ground-truth对应关系将极线误差降低了高达40倍。仅使用MatchGS数据训练的匹配器，在公共基准数据集上实现了显著的零样本性能提升，最高提升幅度达到17.7%。这些结果验证了MatchGS的有效性和优越性。

🎯 应用场景

该研究成果可广泛应用于机器人导航、增强现实、三维重建等领域。通过生成高质量的训练数据，可以显著提升图像匹配算法的鲁棒性和泛化能力，尤其是在缺乏训练数据的场景下。未来，该方法有望推动更多基于学习的视觉算法在实际场景中的应用。

📄 摘要（原文）

Learning-based image matching critically depends on large-scale, diverse, and geometrically accurate training data. 3D Gaussian Splatting (3DGS) enables photorealistic novel-view synthesis and thus is attractive for data generation. However, its geometric inaccuracies and biased depth rendering currently prevent robust correspondence labeling. To address this, we introduce MatchGS, the first framework designed to systematically correct and leverage 3DGS for robust, zero-shot image matching. Our approach is twofold: (1) a geometrically-faithful data generation pipeline that refines 3DGS geometry to produce highly precise correspondence labels, enabling the synthesis of a vast and diverse range of viewpoints without compromising rendering fidelity; and (2) a 2D-3D representation alignment strategy that infuses 3DGS' explicit 3D knowledge into the 2D matcher, guiding 2D semi-dense matchers to learn viewpoint-invariant 3D representations. Our generated ground-truth correspondences reduce the epipolar error by up to 40 times compared to existing datasets, enable supervision under extreme viewpoint changes, and provide self-supervisory signals through Gaussian attributes. Consequently, state-of-the-art matchers trained solely on our data achieve significant zero-shot performance gains on public benchmarks, with improvements of up to 17.7%. Our work demonstrates that with proper geometric refinement, 3DGS can serve as a scalable, high-fidelity, and structurally-rich data source, paving the way for a new generation of robust zero-shot image matchers.