BodySLAM: A Generalized Monocular Visual SLAM Framework for Surgical Applications

📄 arXiv: 2408.03078v2 📥 PDF

作者: G. Manni, C. Lauretti, F. Prata, R. Papalia, L. Zollo, P. Soda

分类: cs.CV, cs.AI, cs.RO

发布日期: 2024-08-06 (更新: 2024-11-04)

备注: 16 pages, 7 figures

💡 一句话要点

BodySLAM：一种用于手术应用的通用单目视觉SLAM框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目视觉SLAM 内窥镜手术 深度学习 姿态估计 深度估计 无监督学习 三维重建

📋 核心要点

  1. 内窥镜手术中，单目视觉SLAM受限于单目相机和缺乏里程计，深度感知和定位精度不足。
  2. BodySLAM提出CycleVO进行无监督姿态估计，并集成Zoe进行深度估计，构建连贯手术地图。
  3. 实验表明CycleVO具有竞争力的姿态估计性能和低推理时间，Zoe在深度估计方面优于现有算法。

📝 摘要（中文）

内窥镜手术依赖于二维图像，这给外科医生在深度感知和器械操作方面带来了挑战。单目视觉同步定位与地图构建（MVSLAM）已成为一种有前景的解决方案，但由于硬件限制，例如单目相机的使用和缺乏里程计传感器，其在内窥镜手术中的实施面临重大挑战。本研究提出了BodySLAM，一种鲁棒的基于深度学习的MVSLAM方法，通过三个关键组件来应对这些挑战：CycleVO，一种新颖的无监督单目姿态估计模块；集成最先进的Zoe架构用于单目深度估计；以及创建一个连贯的手术地图的3D重建模块。该方法使用三个公开可用的数据集（Hamlyn、EndoSLAM和SCARED）进行了严格评估，这些数据集涵盖了腹腔镜、胃镜和结肠镜检查场景，并与四种最先进的方法进行了基准测试。结果表明，CycleVO表现出具有竞争力的性能，并且在姿态估计方法中具有最低的推理时间，同时保持了强大的泛化能力，而Zoe在内窥镜深度估计方面明显优于现有算法。BodySLAM在各种内窥镜场景中的强大性能证明了其作为内窥镜应用的可行MVSLAM解决方案的潜力。

🔬 方法详解

问题定义：内窥镜手术依赖单目视觉，缺乏深度信息，传统SLAM方法难以准确估计相机位姿和构建环境地图。现有方法在内窥镜场景下的泛化能力和鲁棒性不足，尤其是在光照变化、组织形变等复杂情况下表现不佳。因此，需要一种能够在单目视觉条件下，准确、鲁棒地进行位姿估计和地图构建的SLAM系统。

核心思路：BodySLAM的核心思路是利用深度学习技术，分别解决单目视觉SLAM中的姿态估计和深度估计问题，并将其集成到一个统一的框架中。通过无监督学习方法训练姿态估计模块，提高其泛化能力；利用先进的深度估计网络，提升深度信息的准确性；最后，通过3D重建模块将姿态和深度信息融合，构建连贯的手术场景地图。这种设计旨在克服传统方法在内窥镜场景下的局限性，提高SLAM系统的整体性能。

技术框架：BodySLAM包含三个主要模块：CycleVO、Zoe深度估计模块和3D重建模块。CycleVO负责从单目图像序列中估计相机位姿，采用无监督学习方法进行训练。Zoe深度估计模块用于从单目图像中预测深度信息，提供场景的几何结构。3D重建模块将CycleVO估计的位姿和Zoe预测的深度信息融合，构建手术场景的3D地图。整个流程是：输入单目图像序列，CycleVO估计相机位姿，Zoe估计深度信息，最后通过3D重建模块构建地图。

关键创新：BodySLAM的关键创新在于CycleVO模块和Zoe深度估计模块的集成。CycleVO是一种新颖的无监督单目姿态估计模块，它通过循环一致性约束来学习位姿估计，无需ground truth位姿数据，提高了泛化能力。Zoe是一种先进的单目深度估计网络，它在内窥镜图像上表现出优异的性能，能够提供准确的深度信息。将这两个模块集成到SLAM框架中，可以有效提高SLAM系统的鲁棒性和准确性。

关键设计：CycleVO采用循环一致性损失函数进行训练，该损失函数鼓励网络学习到的位姿估计能够保持图像序列的循环一致性。Zoe深度估计模块采用Transformer架构，能够捕捉图像中的全局上下文信息，提高深度估计的准确性。3D重建模块采用基于Bundle Adjustment的方法，对位姿和深度信息进行优化，提高地图的精度。具体的参数设置和网络结构细节可以在论文中找到。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CycleVO在姿态估计方面表现出与现有方法相当的性能，同时具有最低的推理时间。Zoe深度估计模块在内窥镜图像上的深度估计精度明显优于现有算法。BodySLAM在Hamlyn、EndoSLAM和SCARED三个数据集上进行了评估，结果表明其在各种内窥镜场景下都具有良好的性能，证明了其作为内窥镜应用的可行MVSLAM解决方案的潜力。

🎯 应用场景

BodySLAM在内窥镜手术中具有广泛的应用前景。它可以帮助外科医生更好地理解手术场景的3D结构，提高手术操作的精度和安全性。此外，BodySLAM还可以用于手术导航、机器人辅助手术等领域，为未来的手术技术发展提供支持。该研究的成果有望提高手术的成功率，减少手术并发症，改善患者的治疗效果。

📄 摘要（原文）

Endoscopic surgery relies on two-dimensional views, posing challenges for surgeons in depth perception and instrument manipulation. While Monocular Visual Simultaneous Localization and Mapping (MVSLAM) has emerged as a promising solution, its implementation in endoscopic procedures faces significant challenges due to hardware limitations, such as the use of a monocular camera and the absence of odometry sensors. This study presents BodySLAM, a robust deep learning-based MVSLAM approach that addresses these challenges through three key components: CycleVO, a novel unsupervised monocular pose estimation module; the integration of the state-of-the-art Zoe architecture for monocular depth estimation; and a 3D reconstruction module creating a coherent surgical map. The approach is rigorously evaluated using three publicly available datasets (Hamlyn, EndoSLAM, and SCARED) spanning laparoscopy, gastroscopy, and colonoscopy scenarios, and benchmarked against four state-of-the-art methods. Results demonstrate that CycleVO exhibited competitive performance with the lowest inference time among pose estimation methods, while maintaining robust generalization capabilities, whereas Zoe significantly outperformed existing algorithms for depth estimation in endoscopy. BodySLAM's strong performance across diverse endoscopic scenarios demonstrates its potential as a viable MVSLAM solution for endoscopic applications.