Influence of Early through Late Fusion on Pancreas Segmentation from Imperfectly Registered Multimodal MRI

📄 arXiv: 2409.04563v1 📥 PDF

作者: Lucas W. Remedios, Han Liu, Samuel W. Remedios, Lianrui Zuo, Adam M. Saunders, Shunxing Bao, Yuankai Huo, Alvin C. Powers, John Virostko, Bennett A. Landman

分类: cs.CV

发布日期: 2024-09-06

备注: 13.5 pages of manuscript content

💡 一句话要点

研究多模态MRI胰腺分割中，早、中、晚期融合对不完美配准图像的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 胰腺分割 多模态融合 MRI图像 图像配准 深度学习 UNet 医学影像分析

📋 核心要点

  1. 现有方法在多模态胰腺分割中，对配准不完美的MRI图像融合策略缺乏深入研究，导致分割精度受限。
  2. 论文探索了从早期到晚期不同阶段的融合策略，并分析了这些策略在配准不完美图像上的分割性能。
  3. 实验结果表明，最佳融合位置依赖于具体模型，且在配准不完美的情况下，融合带来的性能提升相对较小。

📝 摘要（中文）

多模态融合有望改善胰腺分割效果。然而，模型中融合的最佳位置仍然是一个开放性问题。当分析不完美对齐的图像对时，是否存在最佳的信息融合位置尚不清楚。本胰腺分割研究中的两个主要对齐挑战是：1) 胰腺是可变形的；2) 呼吸会使腹部变形。即使在图像配准后，相关的变形通常也无法得到校正。我们研究了从早期到晚期融合如何影响胰腺分割。我们使用了来自163名受试者的353对T2加权（T2w）和T1加权（T1w）腹部MR图像以及相应的胰腺标签。我们使用图像配准（deeds）来对齐图像对。我们训练了一系列具有不同融合点的基本UNet，从早期到晚期，以评估早期到晚期融合如何影响不完美对齐图像的分割性能。我们评估了融合点在nnUNet上的泛化能力。使用基本UNet模型的单模态T2w基线的Dice系数为0.73，而nnUNet模型上的相同基线达到了0.80。对于基本UNet，最佳融合方法出现在编码器的中间（早期/中期融合），与基线相比，Dice系数在统计上显著提高了0.0125。对于nnUNet，最佳融合方法是在模型之前进行简单的图像连接（早期融合），与基线相比，Dice系数在统计上显著提高了0.0021。在特定块中进行融合可以提高性能，但最佳融合块是模型特定的，并且增益很小。在不完美配准的数据集中，融合是一个复杂的问题，设计艺术对于发现潜在的见解仍然至关重要。未来需要创新，以更好地解决腹部图像对不完美对齐情况下的融合问题。

🔬 方法详解

问题定义：论文旨在解决多模态MRI胰腺分割中，由于图像配准不完美导致融合策略选择困难的问题。现有方法在处理配准误差较大的图像时，无法有效利用多模态信息，导致分割精度下降。尤其是在腹部MRI中，胰腺的形变和呼吸运动带来的伪影使得配准更加困难。

核心思路：论文的核心思路是通过系统性地评估不同融合阶段（早期、中期、晚期）的分割性能，来确定在配准不完美的情况下，哪种融合策略能够更好地利用多模态信息。通过比较不同融合位置的Dice系数，寻找最佳的融合点。

技术框架：整体框架包括以下几个主要步骤：1) 数据预处理：使用deeds算法对T1w和T2w MRI图像进行配准。2) 模型构建：构建一系列基于UNet的分割模型，每个模型在不同的编码器层级进行多模态特征融合。3) 模型训练与评估：使用配准后的图像对训练不同融合策略的模型，并使用Dice系数评估分割性能。4) 泛化性评估：将最佳融合策略应用于nnUNet模型，评估其泛化能力。

关键创新：论文的关键创新在于系统性地研究了不同融合阶段对分割性能的影响，并针对配准不完美的图像提出了相应的融合策略选择建议。通过实验验证，发现最佳融合位置依赖于具体模型，且在配准不完美的情况下，融合带来的性能提升相对较小。

关键设计：论文的关键设计包括：1) 使用deeds算法进行图像配准，虽然无法完全消除配准误差，但可以作为预处理步骤。2) 构建一系列具有不同融合点的UNet模型，通过控制融合层级来模拟不同的融合策略。3) 使用Dice系数作为评估指标，衡量分割精度。4) 在nnUNet上进行泛化性评估，验证融合策略的有效性。

📊 实验亮点

实验结果表明，对于基本UNet模型，在编码器中间进行融合（早期/中期融合）效果最佳，Dice系数较单模态T2w基线显著提升0.0125。对于nnUNet模型，在模型输入前进行图像拼接（早期融合）效果最佳，Dice系数较基线提升0.0021。虽然融合可以提升性能，但最佳融合位置依赖于具体模型，且提升幅度较小。

🎯 应用场景

该研究成果可应用于医学影像分析领域，特别是胰腺癌的早期诊断和治疗计划制定。通过优化多模态MRI图像的融合策略，可以提高胰腺分割的准确性，从而辅助医生进行更精确的诊断和手术规划。此外，该研究也为其他器官或组织的分割任务提供了参考，尤其是在处理配准不完美的图像时。

📄 摘要（原文）

Multimodal fusion promises better pancreas segmentation. However, where to perform fusion in models is still an open question. It is unclear if there is a best location to fuse information when analyzing pairs of imperfectly aligned images. Two main alignment challenges in this pancreas segmentation study are 1) the pancreas is deformable and 2) breathing deforms the abdomen. Even after image registration, relevant deformations are often not corrected. We examine how early through late fusion impacts pancreas segmentation. We used 353 pairs of T2-weighted (T2w) and T1-weighted (T1w) abdominal MR images from 163 subjects with accompanying pancreas labels. We used image registration (deeds) to align the image pairs. We trained a collection of basic UNets with different fusion points, spanning from early to late, to assess how early through late fusion influenced segmentation performance on imperfectly aligned images. We assessed generalization of fusion points on nnUNet. The single-modality T2w baseline using a basic UNet model had a Dice score of 0.73, while the same baseline on the nnUNet model achieved 0.80. For the basic UNet, the best fusion approach occurred in the middle of the encoder (early/mid fusion), which led to a statistically significant improvement of 0.0125 on Dice score compared to the baseline. For the nnUNet, the best fusion approach was naïve image concatenation before the model (early fusion), which resulted in a statistically significant Dice score increase of 0.0021 compared to baseline. Fusion in specific blocks can improve performance, but the best blocks for fusion are model specific, and the gains are small. In imperfectly registered datasets, fusion is a nuanced problem, with the art of design remaining vital for uncovering potential insights. Future innovation is needed to better address fusion in cases of imperfect alignment of abdominal image pairs.