MedGS: Gaussian Splatting for Multi-Modal 3D Medical Imaging
作者: Ignacy Kolton, Weronika Smolak-Dyżewska, Joanna Kaleta, Żaneta Świderska-Chadaj, Marcin Mazur, Mirosław Dziekiewicz, Tomasz Markiewicz, Przemysław Spurek
分类: cs.CV
发布日期: 2026-04-07
💡 一句话要点
MedGS：用于多模态3D医学影像的高斯溅射重建
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D重建 高斯溅射 医学影像 内窥镜 光照建模
📋 核心要点
- 内窥镜3D重建面临相机轨迹受限和视角相关光照导致的伪影问题，影响重建精度。
- MedGS利用内窥镜光源与相机紧密对齐的特性，分离光照效果与组织属性，提升重建质量。
- MedGS通过物理光照模型增强3D高斯溅射，并使用MLP捕获复杂光照效果，减少伪影，提升泛化能力。
📝 摘要（中文）
内窥镜检查对于诊断结直肠癌和消化道、泌尿生殖系统及呼吸道的其他严重疾病至关重要。从内窥镜图像进行3D重建和新视角合成是增强诊断的有前景的工具。此外，整合生理形变和与内窥镜的交互能够从真实视频数据开发模拟工具。然而，受限的相机轨迹和视角相关的光照会产生伪影，导致不准确或过拟合的重建。我们提出了MedGS，一种新颖的3D重建框架，利用内窥镜成像的独特属性，即单个光源与相机紧密对齐。我们的方法将光照效果与组织属性分离。MedGS通过基于物理的可重新光照模型增强了3D高斯溅射。我们使用专门的MLP增强了传统的光传输公式，该MLP捕获了复杂的光照相关效果，同时确保减少伪影并更好地泛化到新视角。在公共和内部数据集上，MedGS实现了优于基线方法的重建质量。与现有方法不同，MedGS能够在保持对光的物理精确响应的同时修改组织，使其更接近真实的临床使用。
🔬 方法详解
问题定义：内窥镜图像的3D重建受到相机运动轨迹限制和视角依赖的光照影响，导致重建结果产生伪影，精度下降，甚至出现过拟合现象。现有方法难以有效分离光照效果和组织本身的属性，限制了重建质量和真实感。
核心思路：MedGS的核心在于利用内窥镜成像中光源与相机紧密对齐的特性，将光照效果与组织属性解耦。通过显式地建模光照，可以减少视角依赖性，从而提高重建的鲁棒性和泛化能力。此外，该方法旨在实现对组织进行修改，同时保持对光照的物理正确响应，从而更贴近实际临床应用。
技术框架：MedGS基于3D高斯溅射（Gaussian Splatting）框架，并在此基础上进行了扩展。整体流程包括：1) 从内窥镜视频中提取图像序列；2) 使用SfM（Structure from Motion）等技术估计相机位姿；3) 初始化3D高斯分布；4) 使用基于物理的光照模型和MLP来建模光照效果；5) 通过渲染和优化过程，不断调整高斯分布的参数，最终得到高质量的3D重建结果。
关键创新：MedGS的关键创新在于引入了基于物理的光照模型和专门设计的MLP来显式地建模光照效果。与传统方法直接从图像中学习颜色信息不同，MedGS将光照效果与组织属性分离，从而更好地处理视角依赖的光照变化，减少伪影。此外，该方法还支持在保持物理正确性的前提下修改组织，这对于医学应用具有重要意义。
关键设计：MedGS使用了一个专门的MLP来捕获复杂的光照相关效果。该MLP的输入包括视角方向、光照方向等信息，输出是光照强度和颜色。损失函数的设计考虑了重建误差、光照一致性等因素。具体参数设置和网络结构细节在论文中应该有更详细的描述（未知）。
🖼️ 关键图片
📊 实验亮点
MedGS在公共和内部数据集上均取得了优于基线方法的重建质量。该方法能够有效减少内窥镜图像重建中的伪影，并实现对组织进行修改，同时保持对光照的物理精确响应。具体的性能数据和提升幅度需要在论文中查找（未知）。
🎯 应用场景
MedGS在医学领域具有广泛的应用前景，可用于内窥镜手术模拟、术前规划、疾病诊断和治疗评估。通过提供高质量的3D重建，医生可以更准确地了解病灶的位置、大小和形状，从而制定更有效的治疗方案。此外，该技术还可以用于培训医生，提高手术技能，减少手术风险。
📄 摘要（原文）
Endoluminal endoscopic procedures are essential for diagnosing colorectal cancer and other severe conditions in the digestive tract, urogenital system, and airways. 3D reconstruction and novel-view synthesis from endoscopic images are promising tools for enhancing diagnosis. Moreover, integrating physiological deformations and interaction with the endoscope enables the development of simulation tools from real video data. However, constrained camera trajectories and view-dependent lighting create artifacts, leading to inaccurate or overfitted reconstructions. We present MedGS, a novel 3D reconstruction framework leveraging the unique property of endoscopic imaging, where a single light source is closely aligned with the camera. Our method separates light effects from tissue properties. MedGS enhances 3D Gaussian Splatting with a physically based relightable model. We boost the traditional light transport formulation with a specialized MLP capturing complex light-related effects while ensuring reduced artifacts and better generalization across novel views. MedGS achieves superior reconstruction quality compared to baseline methods on both public and in-house datasets. Unlike existing approaches, MedGS enables tissue modifications while preserving a physically accurate response to light, making it closer to real-world clinical use. Repository:this https URL