EndoPrior-GS: Dynamic Endoscopic Reconstruction with a Joint Texture Prior

📄 arXiv: 2609.37874v1 📥 PDF

作者: Jiaqi Huang, Shidong Wang, Tong Xin, Kabita Adhikari

分类: cs.CV

发布日期: 2026-09-29

备注: Accepted at ACCV 2026. Code: https://github.com/jiaqi-huang-77/EndoPrior-GS

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出EndoPrior-GS以解决动态内窥镜重建中的几何和光照问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态内窥镜重建 联合纹理先验 机器人手术 计算机辅助干预 实时渲染 深度估计 光照变化 图像处理

📋 核心要点

  1. 现有的动态内窥镜重建方法在处理可变形的手术环境时，容易受到虚假几何和光照变化的影响，导致重建质量下降。
  2. EndoPrior-GS通过结合帧提取的视觉启发式和深度图，提出了一种新的联合纹理先验，增强了重建的准确性和稳定性。
  3. 在EndoNeRF和SCARED数据集上的实验结果显示，EndoPrior-GS相比于其他方法，流动误差减少了27.7%和25.8%，同时保持了实时渲染速度。

📝 摘要（中文）

动态内窥镜重建是机器人手术和计算机辅助干预的基础。尽管3D高斯点云（3DGS）实现了实时渲染，但在可变形的手术环境中，其应用受到虚假几何和光照变化的限制。为了解决这些问题，我们提出了EndoPrior-GS，这是一种新颖的管道，明确结合了帧提取的视觉启发式和估计的深度图。EndoPrior-GS从工具过滤的有效组织掩膜、非镜面光度过滤器和解剖结构显著性中推导出联合纹理先验，生成概率图以指导原始初始化和后续密度控制。该先验通过一个动态加权的纹理感知项扩展到时间域，在训练过程中动态调整成对原始的贡献。实验结果表明，EndoPrior-GS在EndoNeRF和SCARED基准数据集上分别减少了27.7%和25.8%的流动误差，同时保持了竞争性的渲染质量和实时渲染速度。

🔬 方法详解

问题定义：动态内窥镜重建面临的主要挑战是虚假几何和光照变化，这影响了重建的准确性和稳定性。现有方法在处理这些问题时效果不佳，限制了其在实际手术中的应用。

核心思路：EndoPrior-GS的核心思想是通过结合帧提取的视觉启发式和深度图，构建一个联合纹理先验，从而提高重建的质量和稳定性。该方法通过动态加权的方式，增强了对时间域内信息的利用。

技术框架：EndoPrior-GS的整体架构包括三个主要模块：首先是工具过滤的有效组织掩膜生成，其次是非镜面光度过滤器的应用，最后是解剖结构显著性的提取。这些模块共同生成一个概率图，用于指导原始初始化和密度控制。

关键创新：EndoPrior-GS的主要创新在于其联合纹理先验的构建和动态加权机制，这与现有方法的静态处理方式形成了鲜明对比，显著提升了重建的准确性。

关键设计：在设计中，EndoPrior-GS采用了多种过滤器和深度估计技术，结合了损失函数的动态调整，以适应不同的手术环境和光照条件。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，EndoPrior-GS在EndoNeRF和SCARED基准数据集上分别实现了27.7%和25.8%的流动误差减少，相比于其他代表性方法，显示出显著的性能提升，同时保持了高质量的渲染效果和实时处理速度。

🎯 应用场景

EndoPrior-GS的研究成果在机器人手术和计算机辅助干预中具有广泛的应用潜力。通过提高动态内窥镜重建的准确性和实时性，该方法能够有效支持外科医生在复杂手术环境中的决策，提升手术安全性和成功率。未来，该技术还可能扩展到其他医疗影像处理领域。

📄 摘要（原文）

Dynamic endoscopic reconstruction is fundamental to robotic surgery and computer-assisted interventions. While 3D Gaussian Splatting (3DGS) realises real-time rendering, its application to deformable intraoperative environments remains constrained by spurious geometry and varying illuminations. To address these limitations, we introduce EndoPrior-GS, a novel pipeline that explicitly couples frame-extracted vision heuristics and estimated depth maps. EndoPrior-GS derives a joint texture prior from a tool-filtered valid tissue mask, a non-specular photometric filter, and anatomical structural salience, yielding a probability map that guides primitive initialisation and subsequent density control. The prior is further extended to the temporal domain through a texture-aware term that dynamically weighs pairwise primitive contributions during training. We conduct extensive experiments on benchmark datasets EndoNeRF and SCARED, and the obtained results show that our method EndoPrior-GS reduces Flow Error by 27.7% and 25.8% over the representative approaches while preserving competitive rendering quality and real-time rendering speed. Our project website is available at https://jiaqi-huang-77.github.io/EndoPrior-GS/.