SurgicalGS: Dynamic 3D Gaussian Splatting for Accurate Robotic-Assisted Surgical Scene Reconstruction

📄 arXiv: 2410.09292v1 📥 PDF

作者: Jialei Chen, Xin Zhang, Mobarakol Islam, Francisco Vasconcelos, Danail Stoyanov, Daniel S. Elson, Baoru Huang

分类: cs.CV

发布日期: 2024-10-11

备注: 7 pages

💡 一句话要点

SurgicalGS：用于精准机器人辅助手术场景重建的动态3D高斯溅射

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 手术场景重建 机器人辅助手术 动态场景 深度正则化

📋 核心要点

  1. 现有3D高斯溅射方法在重建动态手术场景时，因深度压缩损失导致几何细节丢失，限制了其在术中应用的精确性。
  2. SurgicalGS通过深度先验初始化、运动掩码和灵活形变模型，结合深度正则化和平滑约束，提升几何重建的准确性。
  3. 在真实手术数据集上的实验表明，SurgicalGS在几何精度方面达到了最先进的重建质量，增强了实用性。

📝 摘要（中文）

本文提出SurgicalGS，一个专为手术场景重建设计的动态3D高斯溅射框架，旨在提高几何精度。针对现有3D高斯溅射方法中使用逆深度损失函数压缩深度变化，导致丢失精细几何细节的问题，SurgicalGS首先利用深度先验初始化高斯点云，采用二元运动掩码识别具有显著深度变化的像素，并融合跨帧深度图的点云进行初始化。该方法使用灵活形变模型表示动态场景，并引入归一化深度正则化损失和无监督深度平滑约束，以确保更准确的几何重建。在两个真实手术数据集上的大量实验表明，SurgicalGS实现了最先进的重建质量，尤其是在精确几何方面，从而提高了3D高斯溅射在机器人辅助手术中的可用性。

🔬 方法详解

问题定义：现有基于3D高斯溅射的方法在动态手术场景重建中，由于使用逆深度损失函数，倾向于压缩深度变化，导致重建结果丢失精细的几何细节。这限制了其在需要高精度几何信息的机器人辅助手术中的应用，例如精确的组织分割和术中导航。现有方法难以兼顾重建质量和渲染速度。

核心思路：SurgicalGS的核心思路是通过更精确的初始化和正则化策略，克服标准3D高斯溅射在深度估计上的不足。具体来说，利用深度先验信息初始化高斯点云，并使用运动掩码来关注深度变化较大的区域。同时，引入新的深度正则化损失和深度平滑约束，以提高几何重建的准确性。这样设计的目的是为了在保持高渲染速度的同时，显著提升重建的几何精度。

技术框架：SurgicalGS的整体框架包括以下几个主要阶段：1) 初始化：利用深度先验和运动掩码初始化高斯点云。2) 动态场景表示：使用灵活形变模型来表示动态手术场景。3) 优化：通过结合光度损失、深度正则化损失和深度平滑约束，优化高斯参数和形变参数。4) 渲染：使用优化的高斯参数进行快速渲染。

关键创新：SurgicalGS的关键创新在于其针对手术场景的深度正则化策略。与传统的逆深度损失不同，SurgicalGS引入了归一化深度正则化损失，以更好地处理深度范围较大的手术场景。此外，使用二元运动掩码来关注深度变化较大的像素，从而更有效地利用深度信息。灵活形变模型的使用也使得能够更好地捕捉动态场景的变化。

关键设计：SurgicalGS的关键设计包括：1) 归一化深度正则化损失：用于约束深度估计，防止深度压缩。2) 二元运动掩码：用于识别和关注深度变化较大的区域。3) 灵活形变模型：用于表示动态场景，捕捉手术过程中的组织形变。4) 无监督深度平滑约束：用于保证重建结果的深度一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SurgicalGS在两个真实手术数据集上进行了评估，实验结果表明，SurgicalGS在重建质量方面优于现有的方法。尤其是在几何精度方面，SurgicalGS实现了显著的提升。具体来说，SurgicalGS在重建精度指标上比现有方法提高了XX%（具体数值论文中给出），证明了其在精确几何重建方面的优势。

🎯 应用场景

SurgicalGS在机器人辅助手术中具有广泛的应用前景，例如术中导航、手术规划、机器人技能学习和远程手术。通过提供高精度的3D场景重建，SurgicalGS可以帮助医生更准确地定位手术器械和目标组织，提高手术的精确性和安全性。此外，重建的3D模型可以用于训练AI模型，从而实现更智能化的手术辅助。

📄 摘要（原文）

Accurate 3D reconstruction of dynamic surgical scenes from endoscopic video is essential for robotic-assisted surgery. While recent 3D Gaussian Splatting methods have shown promise in achieving high-quality reconstructions with fast rendering speeds, their use of inverse depth loss functions compresses depth variations. This can lead to a loss of fine geometric details, limiting their ability to capture precise 3D geometry and effectiveness in intraoperative application. To address these challenges, we present SurgicalGS, a dynamic 3D Gaussian Splatting framework specifically designed for surgical scene reconstruction with improved geometric accuracy. Our approach first initialises a Gaussian point cloud using depth priors, employing binary motion masks to identify pixels with significant depth variations and fusing point clouds from depth maps across frames for initialisation. We use the Flexible Deformation Model to represent dynamic scene and introduce a normalised depth regularisation loss along with an unsupervised depth smoothness constraint to ensure more accurate geometric reconstruction. Extensive experiments on two real surgical datasets demonstrate that SurgicalGS achieves state-of-the-art reconstruction quality, especially in terms of accurate geometry, advancing the usability of 3D Gaussian Splatting in robotic-assisted surgery.