AAD-DCE: An Aggregated Multimodal Attention Mechanism for Early and Late Dynamic Contrast Enhanced Prostate MRI Synthesis
作者: Divya Bharti, Sriprabha Ramanarayanan, Sadhana S, Kishore Kumar M, Keerthi Ram, Harsh Agarwal, Ramesh Venkatesan, Mohanasankar Sivaprakasam
分类: eess.IV, cs.CV
发布日期: 2025-02-04 (更新: 2025-02-05)
备注: Accepted at ICASSP 2025
🔗 代码/项目: GITHUB
💡 一句话要点
提出AAD-DCE，利用多模态注意力机制合成早期和晚期动态增强前列腺MRI图像。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: DCE-MRI合成 生成对抗网络 多模态融合 注意力机制 医学影像 前列腺MRI 图像合成
📋 核心要点
- DCE-MRI依赖对比剂，存在毒性风险，而现有合成方法对局部灌注信息关注不足。
- AAD-DCE利用GAN和聚合注意力判别器，通过多模态输入合成DCE-MRI图像。
- 实验表明，AAD-DCE在PSNR、SSIM和MAE指标上优于现有DCE-MRI合成方法。
📝 摘要（中文）
动态对比增强磁共振成像(DCE-MRI)是一种重要的医学成像技术，用于详细可视化和识别异常病灶中的组织灌注情况，并为活检提供影像学建议。然而，DCE-MRI需要注射基于钆的对比剂，存在体内毒性风险。以往的DCE-MRI合成深度学习方法通常使用单模态非对比或低剂量对比MRI图像，缺乏对目标解剖结构内局部灌注信息的关注。本文提出AAD-DCE，一种带有聚合注意力判别器模块的生成对抗网络(GAN)，该模块包含全局和局部判别器。判别器提供空间嵌入的注意力图，驱动生成器合成早期和晚期响应的DCE-MRI图像。该方法采用多模态输入——T2加权(T2W)、表观扩散系数(ADC)和T1预对比图像进行合成。在ProstateX数据集上的大量对比和消融研究表明，我们的模型(i)与各种生成器基准无关，并且(ii)优于其他DCE-MRI合成方法，在早期响应中PSNR提高+0.64 dB，SSIM提高+0.0518，MAE降低-0.015，在晚期响应中PSNR提高+0.1 dB，SSIM提高+0.0424，MAE降低-0.021，并且(iii)强调了注意力集成的重要性。代码已开源。
🔬 方法详解
问题定义：DCE-MRI虽然在诊断中至关重要，但需要注射钆基对比剂，存在潜在的毒性风险。现有的基于深度学习的DCE-MRI合成方法，通常依赖于单模态的非对比或低剂量对比MRI图像，无法充分利用局部灌注信息，导致合成图像质量受限。因此，如何利用多模态信息，更准确地合成高质量的DCE-MRI图像，同时避免或减少对比剂的使用，是本文要解决的核心问题。
核心思路：本文的核心思路是利用生成对抗网络（GAN）框架，并引入一个聚合注意力判别器模块，该模块包含全局和局部判别器，从而能够学习并利用多模态输入（T2W、ADC和T1预对比图像）中的局部灌注信息。通过判别器提供的空间嵌入注意力图，引导生成器合成更逼真的早期和晚期响应DCE-MRI图像。这种设计旨在克服现有方法对局部灌注信息关注不足的缺陷，提高合成图像的质量和诊断价值。
技术框架：AAD-DCE的整体框架是一个GAN结构，包含一个生成器和一个判别器。生成器的输入是多模态MRI图像（T2W、ADC和T1预对比），输出是合成的早期和晚期DCE-MRI图像。判别器是本文的关键创新点，它由一个全局判别器和一个局部判别器组成，共同构成聚合注意力判别器模块。全局判别器关注图像的整体一致性，而局部判别器则关注局部区域的细节和灌注信息。两个判别器的输出被融合，生成一个空间嵌入的注意力图，用于指导生成器的训练。
关键创新：本文最重要的技术创新点在于聚合注意力判别器模块的设计。通过结合全局和局部判别器，模型能够同时关注图像的整体一致性和局部细节，从而更好地学习和利用多模态输入中的信息。与传统的GAN结构相比，AAD-DCE能够更有效地捕捉局部灌注信息，生成更逼真的DCE-MRI图像。此外，该方法对生成器的选择具有较强的鲁棒性，可以与不同的生成器架构结合使用。
关键设计：在判别器设计上，全局判别器采用传统的卷积神经网络结构，用于判断图像的整体真实性。局部判别器则采用更小的感受野，专注于局部区域的细节和灌注信息。两个判别器的输出通过一个注意力机制进行融合，生成空间嵌入的注意力图。在损失函数方面，除了GAN的对抗损失外，还引入了L1损失和感知损失，以提高合成图像的质量和细节。具体的网络结构和参数设置在论文中有详细描述，读者可以参考开源代码进行进一步了解。
🖼️ 关键图片
📊 实验亮点
实验结果表明，AAD-DCE在ProstateX数据集上显著优于其他DCE-MRI合成方法。对于早期响应DCE-MRI图像，AAD-DCE的PSNR提高了+0.64 dB，SSIM提高了+0.0518，MAE降低了-0.015。对于晚期响应DCE-MRI图像，AAD-DCE的PSNR提高了+0.1 dB，SSIM提高了+0.0424，MAE降低了-0.021。消融实验进一步验证了聚合注意力判别器模块的有效性。
🎯 应用场景
AAD-DCE在医学影像领域具有广泛的应用前景。它可以用于合成高质量的DCE-MRI图像，减少或避免对比剂的使用，从而降低患者的毒性风险。此外，该方法还可以用于数据增强，提高病灶检测和诊断的准确性。未来，AAD-DCE有望应用于其他医学影像模态的合成，为临床诊断提供更安全、更有效的解决方案。
📄 摘要（原文）
Dynamic Contrast-Enhanced Magnetic Resonance Imaging (DCE-MRI) is a medical imaging technique that plays a crucial role in the detailed visualization and identification of tissue perfusion in abnormal lesions and radiological suggestions for biopsy. However, DCE-MRI involves the administration of a Gadolinium based (Gad) contrast agent, which is associated with a risk of toxicity in the body. Previous deep learning approaches that synthesize DCE-MR images employ unimodal non-contrast or low-dose contrast MRI images lacking focus on the local perfusion information within the anatomy of interest. We propose AAD-DCE, a generative adversarial network (GAN) with an aggregated attention discriminator module consisting of global and local discriminators. The discriminators provide a spatial embedded attention map to drive the generator to synthesize early and late response DCE-MRI images. Our method employs multimodal inputs - T2 weighted (T2W), Apparent Diffusion Coefficient (ADC), and T1 pre-contrast for image synthesis. Extensive comparative and ablation studies on the ProstateX dataset show that our model (i) is agnostic to various generator benchmarks and (ii) outperforms other DCE-MRI synthesis approaches with improvement margins of +0.64 dB PSNR, +0.0518 SSIM, -0.015 MAE for early response and +0.1 dB PSNR, +0.0424 SSIM, -0.021 MAE for late response, and (ii) emphasize the importance of attention ensembling. Our code is available at https://github.com/bhartidivya/AAD-DCE.