SharpSLAM: 3D Object-Oriented Visual SLAM with Deblurring for Agile Drones

📄 arXiv: 2410.05405v1 📥 PDF

作者: Denis Davletshin, Iana Zhura, Vladislav Cheremnykh, Mikhail Rybiyanov, Aleksey Fedoseev, Dzmitry Tsetserukou

分类: cs.RO

发布日期: 2024-10-07

备注: Manuscript accepted to IEEE Telepresence 2024

💡 一句话要点

SharpSLAM：面向敏捷无人机的去模糊3D对象SLAM，提升重建与分割质量

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉SLAM 图像去模糊 对象识别 敏捷无人机 三维重建

📋 核心要点

  1. 现有视觉SLAM在高动态运动下易受图像模糊影响，导致定位、建图和对象重建性能下降。
  2. SharpSLAM通过图像去模糊预处理，减少运动模糊对视觉SLAM的影响，提升特征提取和匹配精度。
  3. 实验表明，SharpSLAM显著提升了对象检测质量（F-score），降低了重建误差（RMSE），并提高了对象定位精度（IoU）。

📝 摘要（中文）

本文提出了一种名为SharpSLAM的算法，旨在通过增强RGB图像质量，提高DSP-SLAM中3D重建和分割的质量。SharpSLAM算法通过图像去模糊来降低高动态运动对视觉对象SLAM的影响，从而改善定位、建图和对象重建等各个方面。实验结果表明，对象检测质量得到显著提高，F-score从82.9%提升至86.2%，这归功于特征数量和对应地图点的增加。有符号距离函数的RMSE也从17.2厘米降低至15.4厘米。此外，该解决方案还增强了对象定位，IoU从74.5%提升至75.7%。SharpSLAM算法有潜力显著提高DSP-SLAM中3D重建和分割的质量，并影响机器人、自动驾驶和增强现实等广泛领域。

🔬 方法详解

问题定义：论文旨在解决敏捷无人机在快速运动时，由于相机抖动造成的图像模糊问题，从而影响视觉SLAM的定位、建图和对象识别精度。现有的视觉SLAM算法在高动态场景下，特征提取和匹配容易受到图像模糊的干扰，导致性能下降。

核心思路：SharpSLAM的核心思路是在视觉SLAM流程中加入图像去模糊模块，作为预处理步骤。通过减少图像模糊，提高特征点的质量和数量，从而改善后续的定位、建图和对象识别效果。这种方法旨在从源头上解决图像质量问题，而不是依赖于更复杂的后端优化。

技术框架：SharpSLAM的整体框架是在传统的视觉SLAM流程之前，增加一个图像去模糊模块。该模块接收原始RGB图像作为输入，输出去模糊后的图像。然后，去模糊后的图像被送入标准的视觉SLAM流程，包括特征提取、特征匹配、位姿估计、地图构建和对象识别等模块。整个流程的目标是构建一个高质量的3D对象地图，并实现精确的无人机定位。

关键创新：SharpSLAM的关键创新在于将图像去模糊技术与对象导向的视觉SLAM相结合。虽然图像去模糊技术本身不是全新的，但将其应用于敏捷无人机的视觉SLAM，并针对对象识别进行优化，是一种创新性的尝试。通过这种结合，SharpSLAM能够有效提高在高动态场景下的SLAM性能。

关键设计：论文中没有详细说明图像去模糊模块的具体算法和参数设置。这部分可能使用了现有的图像去模糊算法，并根据实际应用场景进行了调整。未来的研究可以探索不同的去模糊算法，并针对视觉SLAM的特点进行优化。此外，对象识别模块的具体实现方式也没有详细描述，可能使用了现有的深度学习模型或传统的目标检测算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SharpSLAM显著提升了对象检测的F-score（从82.9%提升至86.2%），降低了有符号距离函数的RMSE（从17.2厘米降低至15.4厘米），并提高了对象定位的IoU（从74.5%提升至75.7%）。这些数据表明，图像去模糊预处理能够有效改善视觉SLAM在高动态场景下的性能。

🎯 应用场景

SharpSLAM可应用于需要高精度定位和建图的敏捷无人机应用，例如快速环境探索、搜索救援、工业巡检等。通过提高3D重建和对象识别的质量，可以增强无人机在复杂环境中的自主导航和决策能力。此外，该技术还可扩展到其他移动机器人和增强现实应用中。

📄 摘要（原文）

The paper focuses on the algorithm for improving the quality of 3D reconstruction and segmentation in DSP-SLAM by enhancing the RGB image quality. SharpSLAM algorithm developed by us aims to decrease the influence of high dynamic motion on visual object-oriented SLAM through image deblurring, improving all aspects of object-oriented SLAM, including localization, mapping, and object reconstruction. The experimental results revealed noticeable improvement in object detection quality, with F-score increased from 82.9% to 86.2% due to the higher number of features and corresponding map points. The RMSE of signed distance function has also decreased from 17.2 to 15.4 cm. Furthermore, our solution has enhanced object positioning, with an increase in the IoU from 74.5% to 75.7%. SharpSLAM algorithm has the potential to highly improve the quality of 3D reconstruction and segmentation in DSP-SLAM and to impact a wide range of fields, including robotics, autonomous vehicles, and augmented reality.