Diff4MMLiTS: Advanced Multimodal Liver Tumor Segmentation via Diffusion-Based Image Synthesis and Alignment

📄 arXiv: 2412.20418v1 📥 PDF

作者: Shiyun Chen, Li Lin, Pujin Cheng, ZhiCheng Jin, JianJian Chen, HaiDong Zhu, Kenneth K. Y. Wong, Xiaoying Tang

分类: eess.IV, cs.CV

发布日期: 2024-12-29

💡 一句话要点

Diff4MMLiTS：基于扩散模型的多模态肝肿瘤分割与对齐方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 肝肿瘤分割 扩散模型 图像合成 医学图像处理

📋 核心要点

  1. 现有方法依赖于良好配准的多模态数据，这在肝肿瘤等模糊区域的临床图像中是不现实的。
  2. Diff4MMLiTS通过扩散模型合成对齐的多模态数据，从而避免了对严格配准数据的依赖。
  3. 实验结果表明，Diff4MMLiTS在肝肿瘤分割任务上优于其他先进的多模态分割方法。

📝 摘要（中文）

本文提出了一种名为Diff4MMLiTS的四阶段多模态肝肿瘤分割流程。该流程首先对多模态CT图像中的目标器官进行预配准；然后，通过膨胀标注模态的掩码，并使用该掩码进行图像修复，获得不含肿瘤的多模态正常CT图像；接着，利用基于多模态CT特征和随机生成的肿瘤掩码的潜在扩散模型，合成严格对齐的含肿瘤多模态CT图像；最后，训练分割模型，从而消除了对严格对齐的多模态数据的需求。在公共和内部数据集上的大量实验表明，Diff4MMLiTS优于其他最先进的多模态分割方法。

🔬 方法详解

问题定义：现有的多模态肝肿瘤分割方法严重依赖于精确配准的多模态数据。然而，在实际临床应用中，由于不同模态图像的获取方式、成像参数等差异，以及肝肿瘤本身边界模糊等问题，很难获得完美配准的多模态数据。这限制了多模态分割方法在临床上的应用。

核心思路：Diff4MMLiTS的核心思路是利用扩散模型生成严格对齐的多模态肝肿瘤CT图像，从而解决训练数据配准问题。通过在潜在空间中控制肿瘤的生成，可以获得具有不同肿瘤形状和位置的多模态图像，用于训练分割模型，提高模型的泛化能力。

技术框架：Diff4MMLiTS包含四个主要阶段：1) 多模态CT图像预配准，对目标器官进行初步对齐；2) 利用图像修复技术生成不含肿瘤的正常多模态CT图像；3) 基于潜在扩散模型，以多模态CT特征和随机肿瘤掩码为条件，合成严格对齐的含肿瘤多模态CT图像；4) 利用合成数据训练分割模型。

关键创新：Diff4MMLiTS的关键创新在于利用扩散模型进行多模态图像合成，从而摆脱了对严格配准数据的依赖。通过在潜在空间中控制肿瘤的生成，可以灵活地生成各种肿瘤形态和位置的图像，从而增强分割模型的鲁棒性。

关键设计：在扩散模型的设计上，论文采用了潜在扩散模型，以提高生成效率和图像质量。在训练分割模型时，可以使用多种损失函数，如Dice Loss、Cross-Entropy Loss等，以优化分割性能。此外，网络结构的选择也会影响最终的分割效果，可以采用U-Net、V-Net等常用的分割网络结构。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

Diff4MMLiTS在公共数据集和内部数据集上都取得了显著的性能提升。具体来说，与现有的多模态分割方法相比，Diff4MMLiTS在Dice系数、Jaccard指数等指标上均有明显提高，证明了其在肝肿瘤分割任务上的优越性。实验结果表明，该方法能够有效地利用多模态信息，提高分割精度和鲁棒性。

🎯 应用场景

Diff4MMLiTS具有广泛的应用前景，可用于辅助医生进行肝肿瘤的诊断和治疗计划制定。通过提供更准确的肿瘤分割结果，可以帮助医生更好地评估肿瘤的大小、位置和侵犯范围，从而制定更有效的治疗方案。此外，该方法还可以推广到其他医学图像分割任务中，例如肺结节分割、脑肿瘤分割等。

📄 摘要（原文）

Multimodal learning has been demonstrated to enhance performance across various clinical tasks, owing to the diverse perspectives offered by different modalities of data. However, existing multimodal segmentation methods rely on well-registered multimodal data, which is unrealistic for real-world clinical images, particularly for indistinct and diffuse regions such as liver tumors. In this paper, we introduce Diff4MMLiTS, a four-stage multimodal liver tumor segmentation pipeline: pre-registration of the target organs in multimodal CTs; dilation of the annotated modality's mask and followed by its use in inpainting to obtain multimodal normal CTs without tumors; synthesis of strictly aligned multimodal CTs with tumors using the latent diffusion model based on multimodal CT features and randomly generated tumor masks; and finally, training the segmentation model, thus eliminating the need for strictly aligned multimodal data. Extensive experiments on public and internal datasets demonstrate the superiority of Diff4MMLiTS over other state-of-the-art multimodal segmentation methods.