FreeReg: Image-to-Point Cloud Registration Leveraging Pretrained Diffusion Models and Monocular Depth Estimators
作者: Haiping Wang, Yuan Liu, Bing Wang, Yujing Sun, Zhen Dong, Wenping Wang, Bisheng Yang
分类: cs.CV
发布日期: 2023-10-05 (更新: 2024-04-13)
备注: CameraReady version for ICLR 2024. Project Page: https://whu-usi3dv.github.io/FreeReg/
💡 一句话要点
提出FreeReg以解决图像与点云配准问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 图像配准 点云处理 跨模态学习 深度估计 扩散模型 几何特征 机器人导航 增强现实
📋 核心要点
- 现有的图像与点云配准方法在跨模态特征匹配上存在困难，难以学习到有效的特征。
- 本文提出通过预训练模型统一模态，利用扩散特征和几何特征进行稳健的对应关系建立。
- 实验结果显示，所提方法在多个基准测试中显著提高了配准精度，表现优于现有技术。
📝 摘要（中文）
图像与点云之间的跨模态特征匹配是图像到点云配准的基本问题。由于图像和点之间的模态差异，现有的度量学习方法难以学习到稳健且具有区分性的跨模态特征。本文提出通过预训练的大规模模型统一图像和点云的模态，然后在同一模态内建立稳健的对应关系。我们展示了通过深度到图像的扩散模型提取的中间特征（称为扩散特征）在图像和点云之间具有语义一致性，从而能够建立粗略但稳健的跨模态对应关系。此外，我们还提取了单目深度估计器生成的深度图上的几何特征，通过匹配这些几何特征显著提高了扩散特征产生的粗略对应关系的准确性。大量实验表明，在没有任何任务特定训练的情况下，直接利用这两种特征可以实现准确的图像到点云配准。在三个公共室内和室外基准测试中，所提方法在内点比率上平均提高了20.6%，内点数量提高了三倍，配准召回率提高了48.6%。
🔬 方法详解
问题定义：本文旨在解决图像与点云之间的配准问题，现有方法在跨模态特征匹配上存在困难，难以有效学习到稳健的特征。
核心思路：论文提出通过预训练的大规模模型统一图像和点云的模态，利用提取的扩散特征和几何特征来建立稳健的对应关系，从而提高配准精度。
技术框架：整体流程包括两个主要阶段：首先通过深度到图像的扩散模型提取扩散特征，其次通过单目深度估计器生成深度图并提取几何特征，最后匹配这些特征以实现图像与点云的配准。
关键创新：最重要的创新在于通过预训练模型提取的扩散特征在语义上保持一致，使得跨模态对应关系的建立更加稳健，显著区别于传统的度量学习方法。
关键设计：在特征提取过程中，采用了深度到图像的扩散模型和单目深度估计器，确保了特征的语义一致性和几何准确性，具体的参数设置和损失函数设计未在摘要中详细说明，需参考原文。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提方法在三个公共基准测试中，内点比率平均提高20.6%，内点数量提高三倍，配准召回率提高48.6%，显著优于现有的最先进技术，展示了其有效性和实用性。
🎯 应用场景
该研究具有广泛的应用潜力，特别是在机器人导航、增强现实和三维重建等领域。通过提高图像与点云配准的准确性，可以显著提升这些应用的性能和用户体验，未来可能推动相关技术的进一步发展。
📄 摘要（原文）
Matching cross-modality features between images and point clouds is a fundamental problem for image-to-point cloud registration. However, due to the modality difference between images and points, it is difficult to learn robust and discriminative cross-modality features by existing metric learning methods for feature matching. Instead of applying metric learning on cross-modality data, we propose to unify the modality between images and point clouds by pretrained large-scale models first, and then establish robust correspondence within the same modality. We show that the intermediate features, called diffusion features, extracted by depth-to-image diffusion models are semantically consistent between images and point clouds, which enables the building of coarse but robust cross-modality correspondences. We further extract geometric features on depth maps produced by the monocular depth estimator. By matching such geometric features, we significantly improve the accuracy of the coarse correspondences produced by diffusion features. Extensive experiments demonstrate that without any task-specific training, direct utilization of both features produces accurate image-to-point cloud registration. On three public indoor and outdoor benchmarks, the proposed method averagely achieves a 20.6 percent improvement in Inlier Ratio, a three-fold higher Inlier Number, and a 48.6 percent improvement in Registration Recall than existing state-of-the-arts.