Moving Light Adaptive Colonoscopy Reconstruction via Illumination-Attenuation-Aware 3D Gaussian Splatting
作者: Hao Wang, Ying Zhou, Haoyu Zhao, Rui Wang, Qiang Hu, Xing Zhang, Qiang Li, Zhiwei Wang
分类: cs.CV
发布日期: 2025-10-21
💡 一句话要点
提出ColIAGS，通过光照衰减感知的3D高斯溅射实现移动光源自适应的结肠镜重建
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯溅射 结肠镜重建 光照衰减 视图合成 几何建模
📋 核心要点
- 传统3DGS在结肠镜应用中，由于忽略动态光照和光照衰减，导致重建质量下降，产生结构错误的伪影。
- ColIAGS通过引入改进的光照衰减模型和高维视图嵌入，使高斯模型能够适应光照变化，保持几何精度。
- 实验结果表明，ColIAGS在视图合成和几何重建方面均优于现有方法，显著降低了深度MSE。
📝 摘要（中文）
3D高斯溅射(3DGS)已成为结肠镜实时视图合成的关键技术，为虚拟结肠镜和病灶追踪等应用提供支持。然而，原始3DGS假设静态光照，且观测到的外观仅取决于视角，这与动态光源/相机引起的结肠镜场景中的光度变化不兼容。这种不匹配迫使大多数3DGS方法在相机和组织之间引入违反结构的雾状高斯斑点来补偿光照衰减，最终降低了3D重建的质量。以往的研究只考虑了光照距离引起的光照衰减，忽略了光源和相机的物理特性。本文提出ColIAGS，一种为结肠镜定制的改进3DGS框架。为了模拟不同光照下的真实外观，我们引入了一种改进的外观建模，包含两种类型的光照衰减因子，使高斯能够适应光度变化，同时保持几何精度。为了保证外观建模的几何近似条件，我们提出了一种改进的几何建模，使用高维视图嵌入来增强高斯几何属性预测。此外，还利用另一个余弦嵌入输入以隐式方式生成光照衰减解决方案。在标准基准上的综合实验结果表明，我们提出的ColIAGS实现了新颖视图合成和精确几何重建的双重能力。它显著优于其他最先进的方法，实现了卓越的渲染保真度，同时显著降低了深度MSE。
🔬 方法详解
问题定义：现有基于3DGS的结肠镜重建方法，假设静态光照条件，忽略了结肠镜检查中动态光源和相机运动引起的光照变化。此外，现有方法仅考虑光照距离引起的光照衰减，忽略了光源和相机的物理特性。这导致重建结果中出现结构错误的雾状高斯斑点，降低了重建质量和几何精度。
核心思路：ColIAGS的核心思路是改进3DGS框架，使其能够适应结肠镜检查中动态变化的光照条件。通过引入改进的光照衰减模型和高维视图嵌入，使高斯模型能够更好地模拟真实场景中的光照效果，从而提高重建质量和几何精度。该方法旨在解决现有方法中由于光照模型不准确而导致的伪影问题。
技术框架：ColIAGS框架主要包含两个关键模块：改进的外观建模和改进的几何建模。改进的外观建模通过引入两种类型的光照衰减因子，使高斯模型能够适应光度变化。改进的几何建模使用高维视图嵌入来增强高斯几何属性预测，并利用余弦嵌入输入以隐式方式生成光照衰减解决方案。整体流程是，首先利用改进的几何建模预测高斯几何属性，然后利用改进的外观建模渲染图像。
关键创新：ColIAGS的关键创新在于其改进的光照衰减模型和高维视图嵌入。改进的光照衰减模型考虑了光源和相机的物理特性，能够更准确地模拟真实场景中的光照效果。高维视图嵌入则增强了高斯几何属性预测，提高了重建的几何精度。与现有方法相比，ColIAGS能够更好地适应动态光照条件，从而减少伪影并提高重建质量。
关键设计：ColIAGS的关键设计包括：1) 两种类型的光照衰减因子，用于模拟光照衰减；2) 高维视图嵌入，用于增强高斯几何属性预测；3) 余弦嵌入输入，用于隐式生成光照衰减解决方案。具体的损失函数和网络结构细节在论文中应该有更详细的描述（未知）。
🖼️ 关键图片
📊 实验亮点
ColIAGS在标准基准测试中取得了显著的性能提升，在渲染保真度方面优于其他最先进的方法，并且显著降低了深度MSE。具体的数据提升幅度需要在论文中查看（未知）。这些结果表明，ColIAGS能够有效地解决动态光照条件下的结肠镜重建问题，并提供高质量的3D重建结果。
🎯 应用场景
ColIAGS在虚拟结肠镜检查、病灶追踪、手术导航等领域具有广泛的应用前景。通过提供高质量的3D重建，ColIAGS可以帮助医生更准确地诊断和治疗结肠疾病，提高手术的精确性和安全性。此外，该技术还可以应用于医学教育和培训，为医学生提供更真实的模拟环境。
📄 摘要（原文）
3D Gaussian Splatting (3DGS) has emerged as a pivotal technique for real-time view synthesis in colonoscopy, enabling critical applications such as virtual colonoscopy and lesion tracking. However, the vanilla 3DGS assumes static illumination and that observed appearance depends solely on viewing angle, which causes incompatibility with the photometric variations in colonoscopic scenes induced by dynamic light source/camera. This mismatch forces most 3DGS methods to introduce structure-violating vaporous Gaussian blobs between the camera and tissues to compensate for illumination attenuation, ultimately degrading the quality of 3D reconstructions. Previous works only consider the illumination attenuation caused by light distance, ignoring the physical characters of light source and camera. In this paper, we propose ColIAGS, an improved 3DGS framework tailored for colonoscopy. To mimic realistic appearance under varying illumination, we introduce an Improved Appearance Modeling with two types of illumination attenuation factors, which enables Gaussians to adapt to photometric variations while preserving geometry accuracy. To ensure the geometry approximation condition of appearance modeling, we propose an Improved Geometry Modeling using high-dimensional view embedding to enhance Gaussian geometry attribute prediction. Furthermore, another cosine embedding input is leveraged to generate illumination attenuation solutions in an implicit manner. Comprehensive experimental results on standard benchmarks demonstrate that our proposed ColIAGS achieves the dual capabilities of novel view synthesis and accurate geometric reconstruction. It notably outperforms other state-of-the-art methods by achieving superior rendering fidelity while significantly reducing Depth MSE. Code will be available.