MedGS: Gaussian Splatting for Multi-Modal 3D Medical Imaging

📄 arXiv: 2509.16806v1 📥 PDF

作者: Kacper Marzol, Ignacy Kolton, Weronika Smolak-Dyżewska, Joanna Kaleta, Marcin Mazur, Przemysław Spurek

分类: cs.CV

发布日期: 2025-09-20

💡 一句话要点

MedGS：基于高斯溅射的多模态3D医学影像重建与插值

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 医学影像重建 高斯溅射 多模态融合 神经隐式表面 半监督学习

📋 核心要点

  1. 传统医学影像重建方法在处理噪声和帧间信息不完整时面临挑战，影响建模、配准和可视化精度。
  2. MedGS采用高斯溅射表示医学影像数据，实现稳健的帧插值和高保真表面重建，提升噪声鲁棒性和编辑灵活性。
  3. MedGS在医学影像重建任务上表现出高效的训练性能，并能精确建模复杂解剖结构，减少伪影。

📝 摘要（中文）

本文提出MedGS，一个半监督神经隐式表面重建框架，利用基于高斯溅射(GS)的插值机制处理多模态三维医学影像数据，如超声、磁共振成像(MRI)和计算机断层扫描(CT)。该方法将医学影像数据表示为嵌入在3D空间中的连续2D帧，并使用基于高斯分布进行建模。这种表示能够实现稳健的帧插值和跨成像模式的高保真表面重建。MedGS比传统的神经隐式方法训练效率更高，其显式GS表示增强了噪声鲁棒性，允许灵活编辑，并支持以更少的伪影精确建模复杂的解剖结构。这些特性使MedGS非常适合医学影像中可扩展和实际应用。

🔬 方法详解

问题定义：论文旨在解决多模态3D医学影像重建中存在的噪声干扰和帧间信息缺失问题。现有方法在处理这些问题时，通常面临重建质量不高、训练效率低以及难以灵活编辑等痛点。这些问题限制了医学影像在临床诊断和治疗中的应用。

核心思路：论文的核心思路是将医学影像数据表示为3D空间中的高斯分布，并利用高斯溅射（Gaussian Splatting, GS）技术进行建模和渲染。通过这种显式表示，可以更有效地进行帧插值和表面重建，同时增强对噪声的鲁棒性，并支持灵活的编辑操作。

技术框架：MedGS框架主要包含以下几个阶段：1) 数据预处理：将多模态医学影像数据转换为一系列2D帧，并嵌入到3D空间中。2) 高斯初始化：使用医学影像数据初始化高斯分布的参数，如位置、协方差和颜色等。3) 优化与训练：通过半监督学习的方式，利用医学影像数据和重建目标，优化高斯分布的参数。4) 渲染与重建：使用优化后的高斯分布进行渲染，生成高质量的3D医学影像重建结果。

关键创新：MedGS的关键创新在于将高斯溅射技术引入到多模态医学影像重建领域。与传统的神经隐式方法相比，MedGS采用显式的高斯表示，避免了复杂的隐式函数学习过程，从而提高了训练效率和重建质量。此外，MedGS还具有更强的噪声鲁棒性和编辑灵活性，使其更适合实际的医学应用。

关键设计：MedGS的关键设计包括：1) 高斯分布的参数化方式，包括位置、协方差、颜色和透明度等。2) 半监督学习的损失函数，包括重建损失、正则化损失等。3) 高斯溅射的渲染算法，包括视锥体剔除、排序和混合等。4) 针对医学影像特点的参数初始化策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MedGS通过高斯溅射技术实现了高效且高质量的医学影像重建。与传统方法相比，MedGS在训练效率上有了显著提升，同时在重建质量和噪声鲁棒性方面也表现出优势。实验结果表明，MedGS能够精确建模复杂的解剖结构，并减少伪影的产生，为医学影像应用提供了更可靠的基础。

🎯 应用场景

MedGS在医学影像领域具有广泛的应用前景，可用于辅助诊断、手术规划、医学教育和科研等。通过提供高质量的3D医学影像重建结果，医生可以更准确地评估病情，制定更有效的治疗方案。此外，MedGS还可以用于创建交互式的医学教学模型，帮助学生更好地理解人体解剖结构。未来，MedGS有望成为医学影像领域的重要工具，推动医学技术的进步。

📄 摘要（原文）

Multi-modal three-dimensional (3D) medical imaging data, derived from ultrasound, magnetic resonance imaging (MRI), and potentially computed tomography (CT), provide a widely adopted approach for non-invasive anatomical visualization. Accurate modeling, registration, and visualization in this setting depend on surface reconstruction and frame-to-frame interpolation. Traditional methods often face limitations due to image noise and incomplete information between frames. To address these challenges, we present MedGS, a semi-supervised neural implicit surface reconstruction framework that employs a Gaussian Splatting (GS)-based interpolation mechanism. In this framework, medical imaging data are represented as consecutive two-dimensional (2D) frames embedded in 3D space and modeled using Gaussian-based distributions. This representation enables robust frame interpolation and high-fidelity surface reconstruction across imaging modalities. As a result, MedGS offers more efficient training than traditional neural implicit methods. Its explicit GS-based representation enhances noise robustness, allows flexible editing, and supports precise modeling of complex anatomical structures with fewer artifacts. These features make MedGS highly suitable for scalable and practical applications in medical imaging.