DRIFTS: Optimizing Domain Randomization with Synthetic Data and Weight Interpolation for Fetal Brain Tissue Segmentation
作者: Vladyslav Zalevskyi, Thomas Sanchez, Margaux Roulet, Hélène Lajous, Jordina Aviles Verdera, Roxane Licandro, Georg Langs, Gregor Kasprian, Jana Hutter, Hamza Kebiri, Meritxell Bach Cuadra
分类: eess.IV, cs.CV
发布日期: 2024-11-11 (更新: 2025-06-04)
💡 一句话要点
DRIFTS：结合合成数据与权重插值优化领域随机化，用于胎儿脑组织分割
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 胎儿脑部MRI分割 领域随机化 合成数据 权重插值 高斯混合模型
📋 核心要点
- 胎儿脑部MRI分割面临数据异质性和稀缺性挑战，现有方法难以有效泛化到不同扫描仪和设置。
- DRIFTS方法结合高斯混合模型生成更逼真的合成数据，并利用权重插值实现单源领域泛化的优化。
- 实验结果表明，DRIFTS在多个基准测试中优于现有方法，并在胎儿T1加权图像上实现了准确的脑组织分割。
📝 摘要（中文）
胎儿脑部磁共振成像（MRI）中的脑组织分割是理解神经发育的关键工具，但由于来自不同扫描仪和设置的数据异质性以及数据稀缺性，它面临着挑战。最近基于领域随机化的方法，如SynthSeg，通过模拟具有随机对比度和图像分辨率的图像，展示了单源领域泛化的巨大潜力。本文研究了如何最大化基于SynthSeg的方法在胎儿脑部MRI中的域外（OOD）泛化潜力。具体而言，我们证明了FetalSynthSeg中使用的简单高斯混合模型在OOD泛化方面优于基于物理信息的生成方法。我们进一步表明，通过生成更逼真的合成数据，结合强度聚类可以显著增强标签类别有限设置下的泛化能力。通过将合成预训练与真实图像上的微调相结合，并在两个模型之间应用权重空间插值，我们提出了DRIFTS，作为一种有效且实用的单源领域泛化解决方案。DRIFTS在多个基准测试中始终优于当前最先进的模型，并且据我们所知，是第一个在胎儿T1加权图像上实现准确脑组织分割的方法。我们在来自三个不同站点的四个数据集的308名受试者上验证了我们的方法，涵盖了扫描仪磁场强度范围（0.55T至3T）以及T1w和T2w模态。最后，我们提出了五个实用建议，以指导基于SynthSeg的方法在其他器官和成像模态中的开发。
🔬 方法详解
问题定义：胎儿脑部MRI分割任务中，由于数据采集自不同的扫描仪和设置，存在显著的领域差异，导致模型在训练集上表现良好，但在新的数据集上泛化能力较差。现有的方法，如直接在真实数据上训练，容易过拟合，而基于物理模型的合成数据生成方法，其生成的图像真实度不足，限制了模型的泛化能力。
核心思路：DRIFTS的核心思路是利用领域随机化技术，通过生成大量的合成数据来扩充训练集，并结合权重插值技术，将模型从合成数据训练的初始状态平滑过渡到真实数据微调的状态。这种方法旨在提高模型对不同领域数据的鲁棒性，从而实现更好的泛化性能。
技术框架：DRIFTS方法主要包含三个阶段：1) 合成数据生成阶段：使用高斯混合模型对真实数据的强度分布进行建模，并生成具有随机对比度和分辨率的合成图像。2) 合成数据预训练阶段：使用生成的合成数据训练分割模型。3) 真实数据微调与权重插值阶段：使用真实数据对预训练模型进行微调，并在合成数据训练的模型权重和真实数据微调的模型权重之间进行插值，得到最终的模型。
关键创新：DRIFTS的关键创新在于结合了高斯混合模型生成高质量的合成数据和权重空间插值技术。相比于基于物理模型的合成数据生成方法，高斯混合模型能够更好地捕捉真实数据的强度分布，生成更逼真的合成图像。权重空间插值技术则能够有效地平衡模型在合成数据和真实数据上的学习，避免过拟合。
关键设计：在合成数据生成阶段，使用了高斯混合模型对不同脑组织的强度分布进行建模，并随机采样生成合成图像。在权重插值阶段，使用了线性插值方法，通过调整插值系数来控制模型在合成数据和真实数据上的学习程度。损失函数方面，使用了Dice损失函数和交叉熵损失函数的组合，以提高分割的准确性和鲁棒性。
🖼️ 关键图片
📊 实验亮点
DRIFTS在多个胎儿脑部MRI数据集上进行了验证，包括来自不同扫描仪和设置的数据。实验结果表明，DRIFTS在分割准确率方面显著优于现有的方法，尤其是在T1加权图像上的分割性能提升明显。DRIFTS也是首个在胎儿T1加权图像上实现准确脑组织分割的方法。
🎯 应用场景
DRIFTS方法在胎儿脑部MRI分割领域具有广泛的应用前景，可以用于辅助医生进行胎儿脑部发育评估、疾病诊断和治疗方案制定。该方法还可以推广到其他医学图像分割任务中，例如成人脑部MRI分割、肿瘤分割等，具有重要的临床价值和科研意义。
📄 摘要（原文）
Fetal brain tissue segmentation in magnetic resonance imaging (MRI) is a crucial tool that supports understanding of neurodevelopment, yet it faces challenges due to the heterogeneity of data coming from different scanners and settings, as well as data scarcity. Recent approaches based on domain randomization, like SynthSeg, have shown great potential for single-source domain generalization by simulating images with randomized contrast and image resolution from the label maps. In this work, we investigate how to maximize the out-of-domain (OOD) generalization potential of SynthSegbased methods in fetal brain MRI. Specifically, we demonstrate that the simple Gaussian mixture models employed in FetalSynthSeg outperform physics-informed generation methods in terms of OOD generalization. We further show that incorporating intensity clustering significantly enhances generalization in settings with limited label classes by producing more realistic synthetic data. By combining synthetic pretraining with fine-tuning on real images and applying weight-space interpolation between the two models, we propose DRIFTS as an effective and practical solution for single-source domain generalization. DRIFTS consistently outperforms current state-of-the-art models across multiple benchmarks and is, to our knowledge, the first method to achieve accurate brain tissue segmentation on fetal T1-weighted images. We validate our approach on 308 subjects from four datasets acquired at three different sites, covering a range of scanner field strengths (0.55T to 3T) and both T1w and T2w modalities. We conclude with five practical recommendations to guide the development of SynthSeg-based methods for other organs and imaging modalities.