EndoLRMGS: Complete Endoscopic Scene Reconstruction combining Large Reconstruction Modelling and Gaussian Splatting

📄 arXiv: 2503.22437v1 📥 PDF

作者: Xu Wang, Shuai Zhang, Baoru Huang, Danail Stoyanov, Evangelos B. Mazomenos

分类: cs.CV

发布日期: 2025-03-28

💡 一句话要点

EndoLRMGS：结合大重建模型与高斯溅射的完整内窥镜场景重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 内窥镜手术 三维重建 高斯溅射 大型重建模型 机器人辅助手术 深度估计 正交透视投影

📋 核心要点

  1. 现有深度估计方法在内窥镜手术场景中，难以处理深度不连续性，导致物体边界预测噪声大，且无法完整重建被遮挡的表面。
  2. EndoLRMGS结合高斯溅射重建可变形组织，利用大型重建模型生成手术工具的3D模型，并通过正交透视联合投影优化提高精度。
  3. 实验结果表明，EndoLRMGS显著提升了手术工具和组织重建的质量，在多个指标上取得了显著的性能提升。

📝 摘要（中文）

本文提出EndoLRMGS，一种结合大型重建建模（LRM）和高斯溅射（GS）的完整手术场景重建方法，旨在解决现有深度估计方法在内窥镜手术场景中深度不连续性导致的物体边界噪声预测以及因遮挡造成的表面重建不完整问题。GS用于重建可变形组织，LRM生成手术工具的3D模型，并通过引入正交透视联合投影优化（OPjPO）来优化工具的位置和尺度，从而提高重建精度。在三个公共数据集的四个手术视频上的实验表明，该方法在2D投影中工具3D模型的交并比（IoU）提高了>40%。此外，EndoLRMGS将工具投影的PSNR从3.82%提高到11.07%。组织渲染质量也得到改善，所有测试视频的PSNR从0.46%提高到49.87%，SSIM从1.53%提高到29.21%。

🔬 方法详解

问题定义：内窥镜手术场景的完整三维重建是机器人辅助手术的关键。现有的基于深度学习的深度估计方法在处理深度不连续性时表现不佳，导致物体边界的深度预测存在噪声。此外，由于遮挡的存在，这些方法无法实现完整的手术场景重建，遗漏了被遮挡的表面信息。这些问题限制了其在实际手术中的应用。

核心思路：论文的核心思路是将高斯溅射（Gaussian Splatting, GS）和大重建模型（Large Reconstruction Modelling, LRM）相结合。GS擅长重建可变形的组织，而LRM可以生成手术工具的3D模型。通过结合两者的优势，可以实现更完整、更准确的手术场景重建。此外，论文还引入了正交透视联合投影优化（OPjPO）来进一步优化工具的位置和尺度。

技术框架：EndoLRMGS的整体框架包含以下几个主要步骤：1) 使用GS重建可变形组织；2) 使用LRM生成手术工具的3D模型；3) 利用OPjPO优化工具的位置和尺度，使其与重建的组织更好地对齐。整个流程旨在实现手术场景的完整和精确重建。

关键创新：该方法最重要的创新点在于将GS和LRM结合起来，分别处理手术场景中的可变形组织和刚性工具。这种结合充分利用了两种方法的优势，克服了单一方法的局限性。此外，OPjPO的引入进一步提高了工具重建的精度。

关键设计：OPjPO是一种正交透视联合投影优化方法，用于优化手术工具的位置和尺度。具体来说，它通过最小化工具3D模型在2D图像上的投影与实际图像之间的差异来实现优化。损失函数的设计考虑了工具的形状、位置和尺度等因素。此外，论文还可能涉及到GS和LRM的具体参数设置，例如GS中高斯分布的参数初始化和优化策略，以及LRM中使用的3D模型库和匹配算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EndoLRMGS在多个指标上显著优于现有方法。在2D投影中，工具3D模型的交并比（IoU）提高了>40%。工具投影的PSNR从3.82%提高到11.07%。组织渲染质量也得到显著改善，PSNR从0.46%提高到49.87%，SSIM从1.53%提高到29.21%。这些数据表明EndoLRMGS在手术场景重建方面具有显著的优势。

🎯 应用场景

EndoLRMGS在机器人辅助手术（RAS）领域具有广阔的应用前景。它可以用于术中导航、手术规划、医生培训和远程手术等。通过提供完整、准确的手术场景三维重建，EndoLRMGS可以帮助医生更好地理解手术环境，提高手术的精确性和安全性，并为未来的手术机器人自主操作奠定基础。

📄 摘要（原文）

Complete reconstruction of surgical scenes is crucial for robot-assisted surgery (RAS). Deep depth estimation is promising but existing works struggle with depth discontinuities, resulting in noisy predictions at object boundaries and do not achieve complete reconstruction omitting occluded surfaces. To address these issues we propose EndoLRMGS, that combines Large Reconstruction Modelling (LRM) and Gaussian Splatting (GS), for complete surgical scene reconstruction. GS reconstructs deformable tissues and LRM generates 3D models for surgical tools while position and scale are subsequently optimized by introducing orthogonal perspective joint projection optimization (OPjPO) to enhance accuracy. In experiments on four surgical videos from three public datasets, our method improves the Intersection-over-union (IoU) of tool 3D models in 2D projections by>40%. Additionally, EndoLRMGS improves the PSNR of the tools projection from 3.82% to 11.07%. Tissue rendering quality also improves, with PSNR increasing from 0.46% to 49.87%, and SSIM from 1.53% to 29.21% across all test videos.