LiftFeat: 3D Geometry-Aware Local Feature Matching

📄 arXiv: 2505.03422v1 📥 PDF

作者: Yepeng Liu, Wenpeng Lai, Zhou Zhao, Yuxuan Xiong, Jinchi Zhu, Jun Cheng, Yongchao Xu

分类: cs.CV, cs.RO

发布日期: 2025-05-06

备注: Accepted at ICRA 2025

🔗 代码/项目: GITHUB

💡 一句话要点

LiftFeat：提出一种3D几何感知的局部特征匹配方法，提升SLAM和视觉定位在恶劣环境下的鲁棒性。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 局部特征匹配 3D几何感知 单目深度估计 表面法线 SLAM 视觉定位 特征描述子

📋 核心要点

  1. 在SLAM和视觉定位中，光照变化、低纹理区域和重复图案等场景给提取鲁棒且具有区分性的视觉特征带来了挑战。
  2. LiftFeat通过单目深度估计获取伪表面法线，并设计3D几何感知模块融合表面法线特征与2D描述子特征，提升特征的区分性。
  3. 实验表明，LiftFeat在相对位姿估计、单应性估计和视觉定位等任务上优于现有轻量级方法，展现了其有效性。

📝 摘要（中文）

本文提出了一种名为LiftFeat的轻量级网络，旨在通过聚合3D几何特征来提升原始描述子的鲁棒性。具体而言，我们首先采用预训练的单目深度估计模型生成伪表面法线标签，以此监督3D几何特征（即预测的表面法线）的提取。然后，我们设计了一个3D几何感知特征提升模块，将表面法线特征与原始2D描述子特征融合。集成这种3D几何特征增强了2D特征描述在极端条件下的区分能力。在相对位姿估计、单应性估计和视觉定位任务上的大量实验结果表明，我们的LiftFeat优于一些轻量级的最先进方法。

🔬 方法详解

问题定义：现有的局部特征匹配方法在光照变化剧烈、纹理信息不足或存在重复图案的场景中，难以提取到鲁棒且具有区分性的特征。这些因素会导致匹配精度下降，进而影响SLAM和视觉定位等应用的效果。因此，如何提升局部特征在这些恶劣条件下的鲁棒性是一个关键问题。

核心思路：LiftFeat的核心思路是利用3D几何信息来增强2D特征的区分能力。通过引入表面法线这一3D几何属性，可以为2D特征提供额外的上下文信息，从而使其在光照变化和纹理缺失的情况下更加稳定。该方法通过融合2D特征和3D几何特征，提升整体特征的表达能力。

技术框架：LiftFeat的整体框架包含以下几个主要步骤：1) 使用预训练的单目深度估计模型预测图像的深度图；2) 从深度图计算伪表面法线作为3D几何特征的标签；3) 设计一个特征提取网络，该网络在表面法线标签的监督下学习提取3D几何特征；4) 设计一个3D几何感知特征提升模块，将提取的3D几何特征与原始2D描述子特征进行融合，得到最终的增强特征。

关键创新：LiftFeat的关键创新在于将3D几何信息显式地融入到局部特征描述中。与传统的仅依赖2D图像信息的特征描述子相比，LiftFeat利用表面法线这一3D几何属性，为特征匹配提供了更强的约束，从而提高了在恶劣条件下的鲁棒性。此外，使用单目深度估计模型生成伪标签的方式，避免了对真实3D数据的依赖，降低了数据获取的成本。

关键设计：在网络结构方面，LiftFeat采用了轻量化的设计，以保证计算效率。损失函数包括一个用于监督3D几何特征提取的表面法线预测损失，以及一个用于优化整体特征匹配性能的匹配损失。3D几何感知特征提升模块的具体实现方式（例如，使用注意力机制或简单的拼接操作）对最终性能有一定影响，具体细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LiftFeat在相对位姿估计、单应性估计和视觉定位等任务上均取得了优于现有轻量级方法的性能。具体的性能提升幅度未知，但论文强调了其在极端条件下的鲁棒性优势。这些结果验证了利用3D几何信息增强2D特征描述的有效性，并表明LiftFeat是一种有竞争力的局部特征匹配方法。

🎯 应用场景

LiftFeat在SLAM、视觉定位、三维重建等领域具有广泛的应用前景。它可以提升机器人在复杂环境中的定位精度和鲁棒性，例如在光照变化剧烈、纹理信息匮乏的室内或室外场景。此外，该方法还可以应用于增强现实、自动驾驶等领域，提高相关应用的稳定性和可靠性。未来，可以将LiftFeat与其他传感器（如激光雷达）的数据融合，进一步提升其性能。

📄 摘要（原文）

Robust and efficient local feature matching plays a crucial role in applications such as SLAM and visual localization for robotics. Despite great progress, it is still very challenging to extract robust and discriminative visual features in scenarios with drastic lighting changes, low texture areas, or repetitive patterns. In this paper, we propose a new lightweight network called \textit{LiftFeat}, which lifts the robustness of raw descriptor by aggregating 3D geometric feature. Specifically, we first adopt a pre-trained monocular depth estimation model to generate pseudo surface normal label, supervising the extraction of 3D geometric feature in terms of predicted surface normal. We then design a 3D geometry-aware feature lifting module to fuse surface normal feature with raw 2D descriptor feature. Integrating such 3D geometric feature enhances the discriminative ability of 2D feature description in extreme conditions. Extensive experimental results on relative pose estimation, homography estimation, and visual localization tasks, demonstrate that our LiftFeat outperforms some lightweight state-of-the-art methods. Code will be released at : https://github.com/lyp-deeplearning/LiftFeat.