iMatcher: Improve matching in point cloud registration via local-to-global geometric consistency learning
作者: Karim Slimani, Catherine Achard, Brahim Tamadazte
分类: cs.CV
发布日期: 2025-09-10
💡 一句话要点
iMatcher:通过局部到全局几何一致性学习改进点云配准中的特征匹配
🎯 匹配领域: 支柱六:视频提取与匹配 (Video Extraction) 支柱七:动作重定向 (Motion Retargeting)
关键词: 点云配准 特征匹配 几何一致性 图神经网络 深度学习
📋 核心要点
- 现有方法在点云配准中难以有效利用局部和全局几何信息,导致特征匹配精度不高。
- iMatcher通过学习几何一致的置信度矩阵,融合局部图嵌入和全局几何一致性学习,提升匹配精度。
- 实验表明,iMatcher在KITTI、KITTI-360和3DMatch等数据集上取得了显著的内点率提升,达到SOTA水平。
📝 摘要(中文)
本文提出iMatcher,一个完全可微的点云配准特征匹配框架。该方法利用学习到的特征来预测几何一致的置信度矩阵,融合了局部和全局一致性。首先,局部图嵌入模块初始化得分矩阵。随后的重定位步骤通过在3D空间中进行双边源到目标和目标到源的最近邻搜索来细化该矩阵。然后将配对的点特征堆叠在一起,通过全局几何一致性学习进行细化,以预测点级的匹配概率。在真实世界的室外(KITTI、KITTI-360)和室内(3DMatch)数据集,以及6自由度姿态估计(TUD-L)和部分到部分匹配(MVP-RG)上的大量实验表明,iMatcher显著提高了刚性配准性能。该方法实现了最先进的内点率,在KITTI上达到95%-97%,在KITTI-360上达到94%-97%,在3DMatch上高达81.1%,突显了其在不同环境下的鲁棒性。
🔬 方法详解
问题定义:点云配准旨在找到两个点云之间的变换关系,而特征匹配是其中的关键步骤。现有方法通常难以充分利用点云的局部和全局几何信息,导致匹配错误率较高,尤其是在噪声、遮挡和低重叠率的情况下。因此,如何提高点云特征匹配的准确性和鲁棒性是一个重要的挑战。
核心思路:iMatcher的核心思路是通过学习一个几何一致的置信度矩阵来指导特征匹配。该置信度矩阵不仅考虑了局部特征的相似性,还考虑了全局的几何一致性,从而能够更准确地判断两个点是否应该匹配。通过可微的框架,可以端到端地学习特征和置信度矩阵,从而优化匹配性能。
技术框架:iMatcher的整体框架包括以下几个主要模块:1) 局部图嵌入模块:用于初始化得分矩阵,捕捉局部几何信息。2) 重定位步骤:通过双边最近邻搜索细化得分矩阵,考虑源到目标和目标到源的匹配关系。3) 全局几何一致性学习:通过堆叠配对的点特征,学习点级的匹配概率,进一步提升匹配精度。整个框架是完全可微的,可以进行端到端训练。
关键创新:iMatcher的关键创新在于融合了局部和全局几何一致性学习。传统的特征匹配方法通常只关注局部特征的相似性,而忽略了全局的几何约束。iMatcher通过学习置信度矩阵,将局部特征相似性和全局几何一致性结合起来,从而能够更准确地进行特征匹配。此外,iMatcher采用可微的框架,可以端到端地学习特征和置信度矩阵,进一步优化匹配性能。
关键设计:在局部图嵌入模块中,使用了图神经网络来捕捉局部几何信息。在重定位步骤中,采用了双边最近邻搜索来细化得分矩阵。在全局几何一致性学习中,使用了多层感知机(MLP)来学习点级的匹配概率。损失函数的设计也至关重要,需要平衡局部特征相似性和全局几何一致性。具体的参数设置和网络结构需要根据具体的应用场景进行调整。
🖼️ 关键图片
📊 实验亮点
iMatcher在多个数据集上取得了显著的性能提升。在KITTI数据集上,内点率达到95%-97%,在KITTI-360数据集上达到94%-97%,在3DMatch数据集上高达81.1%。这些结果表明,iMatcher在不同的场景下都具有很强的鲁棒性。此外,iMatcher还在6自由度姿态估计(TUD-L)和部分到部分匹配(MVP-RG)等任务上取得了优异的成绩,证明了其泛化能力。
🎯 应用场景
iMatcher在机器人导航、三维重建、自动驾驶等领域具有广泛的应用前景。高精度的点云配准是这些应用的基础,iMatcher的提出可以显著提升这些应用的性能和可靠性。例如,在自动驾驶中,iMatcher可以用于定位和地图构建,提高车辆的感知能力和安全性。在三维重建中,iMatcher可以用于拼接不同的扫描数据,生成更完整和准确的三维模型。
📄 摘要(原文)
This paper presents iMatcher, a fully differentiable framework for feature matching in point cloud registration. The proposed method leverages learned features to predict a geometrically consistent confidence matrix, incorporating both local and global consistency. First, a local graph embedding module leads to an initialization of the score matrix. A subsequent repositioning step refines this matrix by considering bilateral source-to-target and target-to-source matching via nearest neighbor search in 3D space. The paired point features are then stacked together to be refined through global geometric consistency learning to predict a point-wise matching probability. Extensive experiments on real-world outdoor (KITTI, KITTI-360) and indoor (3DMatch) datasets, as well as on 6-DoF pose estimation (TUD-L) and partial-to-partial matching (MVP-RG), demonstrate that iMatcher significantly improves rigid registration performance. The method achieves state-of-the-art inlier ratios, scoring 95% - 97% on KITTI, 94% - 97% on KITTI-360, and up to 81.1% on 3DMatch, highlighting its robustness across diverse settings.