Deform3DGS: Flexible Deformation for Fast Surgical Scene Reconstruction with Gaussian Splatting

📄 arXiv: 2405.17835v3 📥 PDF

作者: Shuojue Yang, Qian Li, Daiyun Shen, Bingchen Gong, Qi Dou, Yueming Jin

分类: cs.CV

发布日期: 2024-05-28 (更新: 2024-05-30)

备注: Early accepted at MICCAI 2024, 10 pages, 2 figures

🔗 代码/项目: GITHUB

💡 一句话要点

Deform3DGS：基于高斯溅射的快速柔性形变手术场景重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 手术场景重建 3D高斯溅射 形变建模 机器人手术 实时渲染 内窥镜手术 灵活形变建模 点云初始化

📋 核心要点

  1. 现有手术场景重建方法在处理组织形变时，存在渲染速度慢、训练时间长的问题，难以满足术中实时性需求。
  2. Deform3DGS通过引入3D高斯溅射技术，并提出灵活形变建模方案(FDM)，在保证重建质量的同时，显著提升渲染速度和训练效率。
  3. 实验结果表明，Deform3DGS在DaVinci机器人手术视频上实现了高保真度重建和实时渲染，训练时间缩短至1分钟/场景。

📝 摘要（中文）

组织形变是精确手术场景重建的关键挑战。现有方法虽然重建质量高，但渲染速度慢、训练时间长，限制了其术中应用。受实时3D渲染技术3D高斯溅射(3D GS)的启发，本文提出了一种新的快速重建框架Deform3DGS，用于内窥镜手术中可变形组织的重建。通过集成点云初始化，将3D GS引入手术场景以改善重建效果。此外，提出了一种新的灵活形变建模方案(FDM)，以学习单个高斯层面的组织形变动态。FDM能够以高效的表示方式对表面形变进行建模，实现实时渲染性能。更重要的是，FDM显著加速了手术场景重建，展现出可观的临床价值，尤其是在时间效率至关重要的术中环境中。在DaVinci机器人手术视频上的实验表明了该方法的有效性，展示了卓越的重建保真度(PSNR: 37.90)和渲染速度(338.8 FPS)，同时将训练时间大幅缩短至1分钟/场景。

🔬 方法详解

问题定义：论文旨在解决内窥镜手术中，由于组织形变导致的手术场景重建精度和效率问题。现有方法通常计算复杂度高，难以实现实时渲染和快速训练，无法满足术中应用的实时性要求。

核心思路：论文的核心思路是将3D高斯溅射(3D GS)技术引入手术场景重建，利用其高效的渲染能力。同时，针对组织形变，提出一种灵活形变建模方案(FDM)，在单个高斯层面学习组织形变动态，从而实现快速且精确的形变建模。

技术框架：Deform3DGS框架主要包含以下几个阶段：1) 使用点云初始化3D高斯分布；2) 利用FDM对每个高斯进行形变建模，学习组织形变动态；3) 通过渲染损失函数优化高斯参数和形变参数，实现手术场景重建。整体流程旨在利用3D GS的高效渲染能力和FDM的灵活形变建模能力，实现快速且精确的手术场景重建。

关键创新：论文的关键创新在于提出的灵活形变建模方案(FDM)。FDM与传统的全局形变建模方法不同，它在单个高斯层面学习形变动态，能够更精细地捕捉局部形变，并且具有更高的计算效率。这种局部形变建模方式使得Deform3DGS能够以更快的速度和更高的精度重建手术场景。

关键设计：FDM的具体实现细节包括：使用MLP网络预测每个高斯的形变参数，例如平移和旋转。损失函数包括渲染损失（例如L1损失或PSNR损失）和正则化项，用于约束形变参数，防止过拟合。点云初始化方法用于提供一个良好的初始高斯分布，加速训练过程。具体网络结构和参数设置在论文中有详细描述，但摘要中未明确给出。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

Deform3DGS在DaVinci机器人手术视频上取得了显著的实验结果。该方法实现了37.90的PSNR和338.8 FPS的渲染速度，表明其具有卓越的重建保真度和实时渲染性能。更重要的是，Deform3DGS将训练时间大幅缩短至1分钟/场景，相比现有方法具有显著的效率优势。这些结果表明Deform3DGS在术中应用中具有巨大的潜力。

🎯 应用场景

Deform3DGS在机器人辅助手术、术中导航、手术模拟和培训等领域具有广泛的应用前景。该方法能够快速准确地重建手术场景，为医生提供实时的三维视觉信息，提高手术精度和安全性。此外，Deform3DGS还可以用于开发更逼真的手术模拟器，为医学生提供更好的培训体验，并促进新型手术技术的研发。

📄 摘要（原文）

Tissue deformation poses a key challenge for accurate surgical scene reconstruction. Despite yielding high reconstruction quality, existing methods suffer from slow rendering speeds and long training times, limiting their intraoperative applicability. Motivated by recent progress in 3D Gaussian Splatting, an emerging technology in real-time 3D rendering, this work presents a novel fast reconstruction framework, termed Deform3DGS, for deformable tissues during endoscopic surgery. Specifically, we introduce 3D GS into surgical scenes by integrating a point cloud initialization to improve reconstruction. Furthermore, we propose a novel flexible deformation modeling scheme (FDM) to learn tissue deformation dynamics at the level of individual Gaussians. Our FDM can model the surface deformation with efficient representations, allowing for real-time rendering performance. More importantly, FDM significantly accelerates surgical scene reconstruction, demonstrating considerable clinical values, particularly in intraoperative settings where time efficiency is crucial. Experiments on DaVinci robotic surgery videos indicate the efficacy of our approach, showcasing superior reconstruction fidelity PSNR: (37.90) and rendering speed (338.8 FPS) while substantially reducing training time to only 1 minute/scene. Our code is available at https://github.com/jinlab-imvr/Deform3DGS.