EDM: Equirectangular Projection-Oriented Dense Kernelized Feature Matching

📄 arXiv: 2502.20685v1 📥 PDF

作者: Dongki Jung, Jaehoon Choi, Yonghan Lee, Somi Jeong, Taejae Lee, Dinesh Manocha, Suyong Yeon

分类: cs.CV

发布日期: 2025-02-28

💡 一句话要点

提出EDM，一种面向全景图像的密集核化特征匹配算法，显著提升匹配精度。

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 全景图像 密集匹配 特征匹配 球面几何 等距柱状投影

📋 核心要点

  1. 全景图像的密集匹配面临等距柱状投影带来的严重失真问题，传统方法难以有效处理。
  2. EDM算法利用球面相机模型和测地线流细化来校正失真，并引入球面位置嵌入增强特征表达。
  3. 实验表明，EDM在Matterport3D和Stanford2D3D数据集上显著提升了匹配精度，验证了其有效性。

📝 摘要（中文）

本文提出了一种名为EDM（Equirectangular Projection-Oriented Dense Kernelized Feature Matching）的、基于学习的密集匹配算法，专门为全景图像设计。全景图像采用等距柱状投影（ERP），具有较大的视野，特别适合用于旨在建立图像间全面对应关系的密集匹配技术。然而，ERP图像会产生显著的失真，本文通过在密集匹配方法中利用球面相机模型和测地线流细化来解决这个问题。为了进一步减轻这些失真，本文提出了基于特征网格的3D笛卡尔坐标的球面位置嵌入。此外，该方法在细化过程中结合了球面和笛卡尔坐标系之间的双向变换，利用单位球面来提高匹配性能。实验结果表明，该方法取得了显著的性能提升，在Matterport3D和Stanford2D3D数据集上，AUC@5°分别提高了+26.72和+42.62。

🔬 方法详解

问题定义：论文旨在解决全景图像（特别是等距柱状投影ERP图像）的密集特征匹配问题。ERP图像由于其投影方式，存在严重的几何失真，这使得传统的图像匹配算法难以准确地建立图像之间的对应关系。现有的方法通常无法有效地处理这种失真，导致匹配精度较低。

核心思路：论文的核心思路是利用球面几何的特性来缓解ERP图像的失真。具体来说，该方法将图像特征嵌入到三维空间中，并利用球面相机模型和测地线流来优化匹配结果。通过在球面坐标系和笛卡尔坐标系之间进行双向转换，可以更好地利用图像的几何信息，从而提高匹配的准确性。

技术框架：EDM算法的整体框架包括以下几个主要模块：1) 特征提取：使用卷积神经网络提取图像的局部特征。2) 球面位置嵌入：将特征网格的位置信息编码为三维笛卡尔坐标，并将其嵌入到特征中。3) 密集核化匹配：利用核函数计算特征之间的相似度，建立初始的密集匹配关系。4) 测地线流细化：利用球面相机模型和测地线流来优化匹配结果，减少失真带来的影响。5) 双向坐标转换：在细化过程中，进行球面坐标系和笛卡尔坐标系之间的双向转换，以更好地利用图像的几何信息。

关键创新：该论文的关键创新点在于：1) 提出了专门为全景图像设计的密集匹配算法EDM。2) 引入了球面位置嵌入，可以有效地编码图像的几何信息。3) 利用球面相机模型和测地线流进行匹配细化，可以有效地减少ERP图像的失真。4) 提出了球面坐标系和笛卡尔坐标系之间的双向转换方法，可以更好地利用图像的几何信息。

关键设计：在球面位置嵌入方面，论文将特征网格的每个点的位置映射到单位球面上，并计算其三维笛卡尔坐标。然后，将这些坐标作为位置嵌入添加到特征中。在测地线流细化方面，论文使用球面相机模型来估计图像之间的相对姿态，并利用测地线流来优化匹配结果。损失函数的设计目标是最小化匹配点之间的测地线距离，并保持匹配的平滑性。网络结构方面，可以使用现有的卷积神经网络（如ResNet）作为特征提取器。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EDM算法在Matterport3D和Stanford2D3D数据集上取得了显著的性能提升。具体来说，在Matterport3D数据集上，AUC@5°指标提高了+26.72，在Stanford2D3D数据集上，AUC@5°指标提高了+42.62。这些结果表明，EDM算法可以有效地处理全景图像的失真问题，并显著提高匹配精度。

🎯 应用场景

该研究成果可广泛应用于全景图像相关的领域，如三维重建、虚拟现实、机器人导航、自动驾驶等。通过提高全景图像的匹配精度，可以改善这些应用的用户体验和性能，例如，在VR中提供更稳定的视角切换，在机器人导航中实现更精确的定位。

📄 摘要（原文）

We introduce the first learning-based dense matching algorithm, termed Equirectangular Projection-Oriented Dense Kernelized Feature Matching (EDM), specifically designed for omnidirectional images. Equirectangular projection (ERP) images, with their large fields of view, are particularly suited for dense matching techniques that aim to establish comprehensive correspondences across images. However, ERP images are subject to significant distortions, which we address by leveraging the spherical camera model and geodesic flow refinement in the dense matching method. To further mitigate these distortions, we propose spherical positional embeddings based on 3D Cartesian coordinates of the feature grid. Additionally, our method incorporates bidirectional transformations between spherical and Cartesian coordinate systems during refinement, utilizing a unit sphere to improve matching performance. We demonstrate that our proposed method achieves notable performance enhancements, with improvements of +26.72 and +42.62 in AUC@5° on the Matterport3D and Stanford2D3D datasets.