SurgicalGaussian: Deformable 3D Gaussians for High-Fidelity Surgical Scene Reconstruction

📄 arXiv: 2407.05023v1 📥 PDF

作者: Weixing Xie, Junfeng Yao, Xianpeng Cao, Qiqin Lin, Zerui Tang, Xiao Dong, Xiaohu Guo

分类: cs.CV

发布日期: 2024-07-06

💡 一句话要点

SurgicalGaussian：用于高保真手术场景重建的可变形3D高斯模型

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 手术场景重建 3D高斯溅射 可变形模型 神经辐射场 机器人辅助手术

📋 核心要点

  1. 现有NeRF方法难以捕捉手术场景中物体的精细细节，且实时渲染能力不足，限制了其在手术重建中的应用。
  2. SurgicalGaussian通过可变形3D高斯溅射，结合前向映射变形MLP和正则化，实现软组织时空特征的精确建模。
  3. 实验结果表明，SurgicalGaussian在渲染质量、速度和GPU使用率上均优于现有方法，为手术场景重建提供了更优方案。

📝 摘要（中文）

本文提出SurgicalGaussian，一种可变形的3D高斯溅射方法，用于建模动态手术场景。内窥镜视频中可变形组织的动态重建是机器人辅助手术的关键技术。基于神经辐射场（NeRFs）的重建方法在手术场景重建中取得了显著成果，但基于隐式表示的NeRFs难以捕捉场景中物体的复杂细节，且无法实现实时渲染。此外，受限的单视角感知和器械遮挡也给手术场景重建带来了特殊挑战。SurgicalGaussian通过前向映射变形MLP和正则化来约束局部3D高斯，使其符合一致的运动，从而在每个时间戳对软组织的时空特征进行建模。借助深度初始化策略和工具掩码引导训练，该方法可以去除手术器械并重建高保真手术场景。在各种手术视频上的实验表明，该网络在渲染质量、渲染速度和GPU使用率等多个方面优于现有方法。

🔬 方法详解

问题定义：论文旨在解决内窥镜视频中动态手术场景的高保真重建问题。现有基于NeRF的方法虽然取得了一定的进展，但由于其隐式表达的特性，难以捕捉手术场景中软组织的精细几何细节，并且渲染速度较慢，无法满足实时性要求。此外，手术器械的遮挡和单视角限制也增加了重建的难度。

核心思路：论文的核心思路是利用3D高斯溅射（3D Gaussian Splatting）的显式表达能力，结合可变形模型来表示动态手术场景。通过将场景表示为一组3D高斯分布，可以更有效地捕捉细节，并实现快速渲染。同时，引入前向映射变形MLP来建模软组织的形变，保证重建结果的时序一致性。

技术框架：SurgicalGaussian的整体框架包括以下几个主要模块：1) 3D高斯初始化：利用深度信息初始化3D高斯参数。2) 前向映射变形MLP：用于预测每个3D高斯在不同时刻的形变。3) 渲染模块：基于可变形的3D高斯进行快速渲染。4) 工具掩码引导训练：利用工具掩码去除手术器械的影响。整个流程通过优化3D高斯参数和变形MLP的参数，使得渲染结果与真实图像尽可能一致。

关键创新：该方法最重要的创新点在于将可变形3D高斯溅射应用于动态手术场景重建。与传统的NeRF方法相比，3D高斯溅射具有更强的表达能力和更快的渲染速度。此外，通过引入前向映射变形MLP和正则化，可以有效地建模软组织的形变，保证重建结果的时序一致性。工具掩码引导训练则可以有效去除手术器械的干扰。

关键设计：在技术细节方面，论文采用了以下关键设计：1) 前向映射变形MLP的网络结构：具体网络结构未知，但其作用是预测每个3D高斯的形变参数。2) 正则化项：用于约束3D高斯的运动，保证时序一致性。3) 损失函数：包括渲染损失和正则化损失，用于优化3D高斯参数和变形MLP的参数。4) 深度初始化策略：利用深度信息初始化3D高斯的位置和尺度。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，SurgicalGaussian在多个手术视频数据集上取得了显著的性能提升。在渲染质量方面，SurgicalGaussian优于现有的NeRF方法，能够更清晰地重建软组织的细节。在渲染速度方面，SurgicalGaussian实现了实时渲染，远快于NeRF方法。此外，SurgicalGaussian的GPU使用率也较低，更易于部署到实际的手术机器人系统中。具体量化指标未知，但整体性能提升显著。

🎯 应用场景

SurgicalGaussian在机器人辅助手术、手术导航、医生培训等领域具有广泛的应用前景。高保真、实时的手术场景重建可以帮助医生更好地了解手术区域的解剖结构和组织状态，提高手术的精确性和安全性。此外，该技术还可以用于开发更逼真的手术模拟器，为医生提供更有效的培训工具。未来，结合增强现实技术，SurgicalGaussian有望实现术中实时导航，进一步提升手术效果。

📄 摘要（原文）

Dynamic reconstruction of deformable tissues in endoscopic video is a key technology for robot-assisted surgery. Recent reconstruction methods based on neural radiance fields (NeRFs) have achieved remarkable results in the reconstruction of surgical scenes. However, based on implicit representation, NeRFs struggle to capture the intricate details of objects in the scene and cannot achieve real-time rendering. In addition, restricted single view perception and occluded instruments also propose special challenges in surgical scene reconstruction. To address these issues, we develop SurgicalGaussian, a deformable 3D Gaussian Splatting method to model dynamic surgical scenes. Our approach models the spatio-temporal features of soft tissues at each time stamp via a forward-mapping deformation MLP and regularization to constrain local 3D Gaussians to comply with consistent movement. With the depth initialization strategy and tool mask-guided training, our method can remove surgical instruments and reconstruct high-fidelity surgical scenes. Through experiments on various surgical videos, our network outperforms existing method on many aspects, including rendering quality, rendering speed and GPU usage. The project page can be found at https://surgicalgaussian.github.io.