Leveraging Cutting Edge Deep Learning Based Image Matching for Reconstructing a Large Scene from Sparse Images
作者: Georg Bökman, Johan Edstedt
分类: cs.CV
发布日期: 2023-10-02
备注: Technical report for the top ranked solution to the AISG-SLA visual localization challenge at IJCAI 2023
💡 一句话要点
提出基于深度学习的图像匹配方法以重建稀疏图像的大场景
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 图像匹配 深度学习 运动估计 结构重建 城市导航 自动驾驶
📋 核心要点
- 核心问题：现有方法在处理城市场景中的图像序列时，难以准确估计相对运动，尤其是在稀疏图像条件下。
- 方法要点：论文提出使用RoMa深度学习匹配器进行图像匹配，并结合COLMAP进行结构重建，提升了匹配精度。
- 实验或效果：通过提取高重复性的DeDoDe关键点和处理时间跳跃，最终在挑战基准中获得第三名，超越所有竞争者。
📝 摘要（中文）
本文展示了在IJCAI 2023的AISG-SLA视觉定位挑战基准中获得第三名的解决方案，任务是估计在城市场景中由汽车摄像头连续拍摄的图像之间的相对运动。我们使用最新的深度学习匹配器RoMa进行图像匹配，并通过COLMAP进行运动重建。为提高估计精度，我们提取关键点并使用DeDoDe关键点进行匹配，同时通过DINOv2进行图像检索，处理图像序列中的时间跳跃。这些改进使我们的解决方案超越所有竞争对手。
🔬 方法详解
问题定义：本文旨在解决在城市场景中，由汽车摄像头连续拍摄的稀疏图像之间的相对运动估计问题。现有方法在处理图像序列时，尤其是存在时间跳跃的情况下，难以保持高精度和鲁棒性。
核心思路：我们提出了一种基于深度学习的图像匹配方法RoMa，结合关键点提取和结构重建技术，以提高相对运动估计的准确性。通过对图像对的逐步匹配和关键点的高效利用，增强了匹配的可靠性。
技术框架：整体流程包括图像对的匹配、关键点提取、运动估计和结构重建。首先使用RoMa进行图像匹配，然后提取DeDoDe关键点，最后通过COLMAP进行运动重建。为处理时间跳跃，采用DINOv2进行图像检索，匹配特定的非连续图像对。
关键创新：最重要的创新在于结合深度学习的图像匹配与传统的结构重建方法，尤其是通过高重复性的DeDoDe关键点和图像检索技术，显著提升了匹配精度和鲁棒性。
关键设计：在参数设置上，选择了高重复性的DeDoDe关键点，并在损失函数中引入了针对匹配精度的优化策略。网络结构上，RoMa采用了最新的深度学习架构，以提高匹配效率和准确性。通过这些设计，显著提升了整体性能。
🖼️ 关键图片
📊 实验亮点
在AISG-SLA视觉定位挑战中，我们的解决方案通过使用RoMa进行图像匹配和COLMAP进行结构重建，获得了第三名的优异成绩。相较于其他竞争者，我们的改进措施使得相对运动估计的精度显著提升，尤其是在处理时间跳跃的情况下。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、城市导航和增强现实等。通过提高图像匹配的精度和鲁棒性，可以在复杂的城市环境中实现更可靠的定位和导航，推动智能交通系统的发展。
📄 摘要（原文）
We present the top ranked solution for the AISG-SLA Visual Localisation Challenge benchmark (IJCAI 2023), where the task is to estimate relative motion between images taken in sequence by a camera mounted on a car driving through an urban scene. For matching images we use our recent deep learning based matcher RoMa. Matching image pairs sequentially and estimating relative motion from point correspondences sampled by RoMa already gives very competitive results -- third rank on the challenge benchmark. To improve the estimations we extract keypoints in the images, match them using RoMa, and perform structure from motion reconstruction using COLMAP. We choose our recent DeDoDe keypoints for their high repeatability. Further, we address time jumps in the image sequence by matching specific non-consecutive image pairs based on image retrieval with DINOv2. These improvements yield a solution beating all competitors. We further present a loose upper bound on the accuracy obtainable by the image retrieval approach by also matching hand-picked non-consecutive pairs.