DRL-STNet: Unsupervised Domain Adaptation for Cross-modality Medical Image Segmentation via Disentangled Representation Learning

📄 arXiv: 2409.18340v1 📥 PDF

作者: Hui Lin, Florian Schiffers, Santiago López-Tapia, Neda Tavakoli, Daniel Kim, Aggelos K. Katsaggelos

分类: eess.IV, cs.AI, cs.CV

发布日期: 2024-09-26

备注: MICCAI 2024 Challenge, FLARE Challenge, Unsupervised domain adaptation, Organ segmentation, Feature disentanglement, Self-training

💡 一句话要点

DRL-STNet：通过解耦表征学习实现跨模态医学图像分割的无监督域自适应

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无监督域自适应 跨模态图像分割 解耦表征学习 生成对抗网络 自训练 医学图像分析 腹部器官分割

📋 核心要点

  1. 跨模态医学图像分割任务中，缺乏目标域标注数据是一个关键挑战，现有方法难以有效利用未标注的目标域数据。
  2. DRL-STNet通过GANs、解耦表征学习和自训练相结合，实现源域知识向目标域的迁移，从而解决跨模态分割问题。
  3. 实验结果表明，DRL-STNet在腹部器官分割任务上显著优于现有方法，Dice系数提升11.4%，表面Dice提升13.1%。

📝 摘要（中文）

无监督域自适应(UDA)对于医学图像分割至关重要，尤其是在跨模态数据场景中。UDA旨在将知识从有标签的源域迁移到无标签的目标域，从而减少对大量手动标注的依赖。本文提出了一种名为DRL-STNet的跨模态医学图像分割新框架，该框架利用生成对抗网络(GANs)、解耦表征学习(DRL)和自训练(ST)。我们的方法利用GAN中的DRL来转换源域到目标域的图像。然后，分割模型首先使用这些转换后的图像和相应的源域标签进行训练，然后使用合成图像和真实图像的组合，以及伪标签和真实标签进行迭代微调。所提出的框架在FLARE挑战数据集上的腹部器官分割中表现出卓越的性能，在Dice相似系数方面超过了最先进的方法11.4%，在归一化表面Dice指标方面超过了13.1%，分别达到了74.21%和80.69%的分数。平均运行时间为41秒，GPU内存-时间曲线下的面积为11,292 MB。这些结果表明DRL-STNet在增强跨模态医学图像分割任务方面的潜力。

🔬 方法详解

问题定义：论文旨在解决跨模态医学图像分割中的无监督域自适应问题。现有方法在处理模态差异较大的医学图像时，分割精度往往较低，且依赖于大量的标注数据，这在实际应用中难以满足。因此，如何有效地利用未标注的目标域数据，提升跨模态分割的性能，是本文要解决的核心问题。

核心思路：论文的核心思路是利用解耦表征学习，将图像的模态信息和内容信息分离，从而实现源域图像到目标域图像的转换。通过GAN网络，将源域图像转换为目标域风格的图像，并结合自训练方法，逐步提升分割模型在目标域上的性能。这种方法能够有效地利用未标注的目标域数据，减少对标注数据的依赖。

技术框架：DRL-STNet框架主要包含三个模块：图像转换模块、分割模型训练模块和自训练模块。图像转换模块基于GAN网络，利用解耦表征学习实现源域图像到目标域图像的转换。分割模型训练模块使用转换后的图像和源域标签训练初始分割模型。自训练模块则利用分割模型对真实目标域图像进行预测，生成伪标签，并结合真实标签和伪标签对分割模型进行迭代微调。

关键创新：该方法最重要的创新点在于将解耦表征学习引入到跨模态医学图像分割的无监督域自适应任务中。通过解耦模态信息和内容信息，可以更有效地实现图像的跨模态转换，从而提升分割模型的性能。此外，结合自训练方法，可以进一步利用未标注的目标域数据，提升模型的泛化能力。

关键设计：在图像转换模块中，GAN网络采用CycleGAN结构，包含两个生成器和两个判别器。解耦表征学习通过引入两个编码器，分别提取图像的模态信息和内容信息。损失函数包括对抗损失、循环一致性损失和解耦损失。在自训练模块中，伪标签的生成采用置信度阈值过滤，只选择置信度较高的像素作为正样本。分割模型采用U-Net结构，并使用Dice损失和交叉熵损失进行训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DRL-STNet在FLARE挑战数据集上取得了显著的性能提升。在腹部器官分割任务中，DRL-STNet的Dice相似系数达到了74.21%，相比于现有最佳方法提升了11.4%。归一化表面Dice指标达到了80.69%，提升了13.1%。这些结果表明，DRL-STNet在跨模态医学图像分割任务中具有显著的优势。

🎯 应用场景

DRL-STNet在医学图像分析领域具有广泛的应用前景，例如辅助医生进行疾病诊断、手术规划和疗效评估。该方法可以应用于不同模态的医学图像分割任务，如CT、MRI、PET等，从而减少对大量标注数据的依赖，降低医疗成本，并提高诊断效率。未来，该方法可以进一步扩展到其他医学图像分析任务，如病灶检测、图像配准等。

📄 摘要（原文）

Unsupervised domain adaptation (UDA) is essential for medical image segmentation, especially in cross-modality data scenarios. UDA aims to transfer knowledge from a labeled source domain to an unlabeled target domain, thereby reducing the dependency on extensive manual annotations. This paper presents DRL-STNet, a novel framework for cross-modality medical image segmentation that leverages generative adversarial networks (GANs), disentangled representation learning (DRL), and self-training (ST). Our method leverages DRL within a GAN to translate images from the source to the target modality. Then, the segmentation model is initially trained with these translated images and corresponding source labels and then fine-tuned iteratively using a combination of synthetic and real images with pseudo-labels and real labels. The proposed framework exhibits superior performance in abdominal organ segmentation on the FLARE challenge dataset, surpassing state-of-the-art methods by 11.4% in the Dice similarity coefficient and by 13.1% in the Normalized Surface Dice metric, achieving scores of 74.21% and 80.69%, respectively. The average running time is 41 seconds, and the area under the GPU memory-time curve is 11,292 MB. These results indicate the potential of DRL-STNet for enhancing cross-modality medical image segmentation tasks.