Monocular Endoscopic Tissue 3D Reconstruction with Multi-Level Geometry Regularization

📄 arXiv: 2602.20718v1 📥 PDF

作者: Yangsen Chen, Hao Wang

分类: cs.CV

发布日期: 2026-02-24

备注: ijcnn 2025

💡 一句话要点

提出多层几何约束的单目内窥镜组织3D重建方法，实现实时渲染和光滑表面

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion)

关键词: 内窥镜 3D重建 高斯溅射 表面感知 几何约束

📋 核心要点

  1. 现有方法在内窥镜组织3D重建中，难以兼顾表面一致性（3D高斯溅射）和实时渲染（NeRF）。
  2. 论文提出一种基于3D高斯溅射的方法，利用表面感知重建和多层几何约束，实现光滑表面和实时渲染。
  3. 实验结果表明，该方法在纹理和几何重建质量上优于现有方法，实现了高质量的内窥镜组织3D重建。

📝 摘要（中文）

针对机器人辅助手术中内窥镜组织可变形3D重建问题，现有基于3D高斯溅射的方法难以实现一致的组织表面重建，而基于NeRF的方法缺乏实时渲染能力。本文提出一种基于3D高斯溅射的新方法，旨在实现光滑的可变形表面和实时渲染。具体而言，引入了表面感知重建，首先采用基于符号距离场的方法构建网格，然后利用该网格约束高斯溅射重建过程。此外，为了确保生成物理上合理的变形，我们结合了局部刚性和全局非刚性约束来指导高斯变形，专门针对软内窥镜组织的高度可变形特性。基于3D高斯溅射，该方法实现了快速渲染和光滑的表面外观。与现有方法相比，定量和定性分析表明，该方法在纹理和几何形状方面都实现了可靠的重建质量。

🔬 方法详解

问题定义：内窥镜组织的三维重建是机器人辅助手术的关键技术。现有的基于3D高斯溅射的方法难以保证组织表面重建的一致性，而基于NeRF的方法虽然可以实现高质量的重建，但缺乏实时渲染能力，限制了其在手术中的应用。因此，如何在保证重建质量的同时，实现实时渲染是本文要解决的核心问题。

核心思路：本文的核心思路是结合3D高斯溅射的快速渲染能力和几何约束的表面重建能力。通过引入表面感知重建，利用符号距离场构建的网格来约束高斯溅射的重建过程，从而保证表面的一致性和光滑性。同时，为了保证组织变形的物理合理性，引入局部刚性和全局非刚性约束来指导高斯变形。

技术框架：该方法主要包含以下几个阶段：1) 使用单目内窥镜图像作为输入；2) 利用Sign Distance Field (SDF) 方法构建初始网格模型，实现表面感知重建；3) 使用该网格模型约束3D高斯溅射的重建过程，优化高斯参数；4) 引入局部刚性和全局非刚性约束，指导高斯变形，保证变形的物理合理性；5) 通过3D高斯溅射实现快速渲染。

关键创新：该方法最重要的创新点在于结合了表面感知重建和多层几何约束，实现了高质量的内窥镜组织3D重建。具体来说，利用SDF构建的网格模型约束高斯溅射的重建过程，保证了表面的一致性和光滑性。同时，引入局部刚性和全局非刚性约束，保证了组织变形的物理合理性。这种结合使得该方法能够在保证重建质量的同时，实现实时渲染。

关键设计：在表面感知重建中，SDF的参数设置会影响初始网格模型的质量，进而影响最终的重建结果。局部刚性和全局非刚性约束的权重需要根据具体的组织特性进行调整，以保证变形的物理合理性。损失函数的设计需要平衡重建质量、表面光滑性和变形合理性。具体细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了该方法在内窥镜组织3D重建方面的有效性。与现有方法相比，该方法在纹理和几何形状方面都实现了更高的重建质量。具体的性能数据和提升幅度未知，但定性结果表明，该方法能够生成更光滑、更一致的组织表面。

🎯 应用场景

该研究成果可应用于机器人辅助手术，为医生提供实时的、高质量的内窥镜组织3D模型，辅助医生进行手术规划和导航，提高手术精度和安全性。此外，该技术还可应用于医学教学和培训，帮助学生更好地理解人体组织结构和手术操作。

📄 摘要（原文）

Reconstructing deformable endoscopic tissues is crucial for achieving robot-assisted surgery. However, 3D Gaussian Splatting-based approaches encounter challenges in achieving consistent tissue surface reconstruction, while existing NeRF-based methods lack real-time rendering capabilities. In pursuit of both smooth deformable surfaces and real-time rendering, we introduce a novel approach based on 3D Gaussian Splatting. Specifically, we introduce surface-aware reconstruction, initially employing a Sign Distance Field-based method to construct a mesh, subsequently utilizing this mesh to constrain the Gaussian Splatting reconstruction process. Furthermore, to ensure the generation of physically plausible deformations, we incorporate local rigidity and global non-rigidity restrictions to guide Gaussian deformation, tailored for the highly deformable nature of soft endoscopic tissue. Based on 3D Gaussian Splatting, our proposed method delivers a fast rendering process and smooth surface appearances. Quantitative and qualitative analysis against alternative methodologies shows that our approach achieves solid reconstruction quality in both textures and geometries.