A Review of 3D Reconstruction Techniques for Deformable Tissues in Robotic Surgery

📄 arXiv: 2408.04426v1 📥 PDF

作者: Mengya Xu, Ziqi Guo, An Wang, Long Bai, Hongliang Ren

分类: cs.CV, cs.RO

发布日期: 2024-08-08

备注: To appear in MICCAI 2024 EARTH Workshop. Code availability: https://github.com/Epsilon404/surgicalnerf

💡 一句话要点

综述：机器人手术中可变形组织三维重建技术，聚焦NeRF与3D-GS

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 机器人手术 三维重建 NeRF 3D高斯溅射 可变形组织 内窥镜视频 手术导航

📋 核心要点

  1. 现有NeRF和3D-GS方法在机器人手术场景重建中面临推理速度慢、动态场景处理以及手术工具遮挡等挑战。
  2. 该综述旨在探索和回顾当前最先进的三维重建技术，重点分析其创新点和实现原理，为后续研究提供参考。
  3. 通过在两个数据集上复现和测试现有模型，验证了这些技术在实现实时、高质量重建方面的潜力。

📝 摘要（中文）

在机器人微创手术中，利用立体或单目内窥镜视频重建手术场景是一项至关重要且复杂的任务，具有巨大的临床应用潜力。近年来，基于NeRF的技术因其隐式重建场景的能力而备受关注。另一方面，基于高斯溅射的3D-GS使用3D高斯显式地表示场景，并将其投影到2D平面上，以替代NeRF中复杂的体积渲染。然而，这些方法在手术场景重建方面面临挑战，例如推理速度慢、动态场景以及手术工具遮挡。本文探讨并回顾了最先进的方法，讨论了它们的创新和实现原理。此外，我们复制了这些模型，并在两个数据集上进行了测试和评估。测试结果表明，随着这些技术的进步，实现实时、高质量的重建成为可能。

🔬 方法详解

问题定义：论文旨在解决机器人手术中可变形组织的三维重建问题。现有方法，如NeRF和3D-GS，虽然在静态场景重建中表现出色，但在处理手术场景时面临诸多挑战。手术场景具有高度动态性，组织会发生形变，且手术器械的遮挡会影响重建质量。此外，实时性是手术应用的关键需求，而现有方法的推理速度难以满足。

核心思路：该综述的核心思路是对现有基于NeRF和3D-GS的三维重建技术进行系统性的梳理和分析，探讨其在机器人手术场景中的适用性和局限性。通过对不同方法的创新点和实现原理进行深入研究，为未来的研究方向提供指导。

技术框架：该综述没有提出新的技术框架，而是对现有技术进行了分类和总结。主要包括基于NeRF的隐式重建方法和基于3D-GS的显式重建方法。文章分析了这些方法在处理动态场景、遮挡以及提高推理速度方面的策略。

关键创新：该综述的创新之处在于其针对机器人手术场景的特殊需求，对现有三维重建技术进行了有针对性的分析和评估。它没有提出新的算法，而是对现有算法的适用性进行了深入探讨，并指出了未来的研究方向。

关键设计：由于是综述文章，没有具体的参数设置、损失函数或网络结构等技术细节。文章重点关注不同方法的实现原理和优缺点，例如，NeRF通过MLP隐式地表示场景，而3D-GS则使用3D高斯显式地表示场景。文章还讨论了如何利用先验知识、优化网络结构等方法来提高重建质量和速度。

🖼️ 关键图片

fig_0

📊 实验亮点

该综述通过复现和测试现有模型，验证了NeRF和3D-GS技术在机器人手术场景重建中的潜力。虽然文中没有给出具体的性能数据，但强调了随着技术的进步，实现实时、高质量重建是可行的。该研究为后续研究者提供了重要的参考，并指出了未来研究的方向，例如如何更好地处理动态场景和遮挡问题。

🎯 应用场景

该研究成果可应用于机器人辅助手术的导航、术中监控和术后评估。通过高精度三维重建，医生可以更准确地了解手术区域的解剖结构，提高手术的精确性和安全性。此外，该技术还可以用于手术机器人的自主操作，实现更智能化的手术流程。未来，该技术有望在远程手术、个性化手术方案设计等方面发挥重要作用。

📄 摘要（原文）

As a crucial and intricate task in robotic minimally invasive surgery, reconstructing surgical scenes using stereo or monocular endoscopic video holds immense potential for clinical applications. NeRF-based techniques have recently garnered attention for the ability to reconstruct scenes implicitly. On the other hand, Gaussian splatting-based 3D-GS represents scenes explicitly using 3D Gaussians and projects them onto a 2D plane as a replacement for the complex volume rendering in NeRF. However, these methods face challenges regarding surgical scene reconstruction, such as slow inference, dynamic scenes, and surgical tool occlusion. This work explores and reviews state-of-the-art (SOTA) approaches, discussing their innovations and implementation principles. Furthermore, we replicate the models and conduct testing and evaluation on two datasets. The test results demonstrate that with advancements in these techniques, achieving real-time, high-quality reconstructions becomes feasible.