Towards General Text-guided Image Synthesis for Customized Multimodal Brain MRI Generation

📄 arXiv: 2409.16818v1 📥 PDF

作者: Yulin Wang, Honglin Xiong, Kaicong Sun, Shuwei Bai, Ling Dai, Zhongxiang Ding, Jiameng Liu, Qian Wang, Qian Liu, Dinggang Shen

分类: eess.IV, cs.CV

发布日期: 2024-09-25

备注: 23 pages, 9 figures

💡 一句话要点

提出TUMSyn，一种文本引导的通用脑部MRI合成模型，用于定制多模态MRI生成。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑部MRI合成 文本引导生成 多模态成像 对比学习 医学图像处理

📋 核心要点

  1. 现有MR图像合成方法依赖特定数据集，泛化性差，难以适应新的扫描参数和任务。
  2. TUMSyn利用文本提示引导MR图像合成，通过预训练的MRI特定文本编码器实现精确控制。
  3. 实验表明，TUMSyn在监督和零样本场景下均能生成临床上有意义的MR图像，具有良好的泛化能力。

📝 摘要（中文）

多模态脑部磁共振(MR)成像在神经科学和神经内科中不可或缺。然而，由于MRI扫描仪的可及性和较长的采集时间，多模态MR图像并不常见。现有的MR图像合成方法通常在独立数据集上针对特定任务进行训练，当应用于新的数据集和任务时，性能欠佳。本文提出了一种文本引导的通用MR图像合成通用模型TUMSyn，该模型可以根据文本提示，从常规采集的扫描中灵活地生成具有所需成像元数据的脑部MR图像。为了确保TUMSyn的图像合成精度、通用性和泛化性，我们首先构建了一个包含来自13个中心的31407张3D图像和7种MRI模态的脑部MR数据库。然后，我们使用对比学习预训练了一个MRI特定的文本编码器，以有效地控制基于文本提示的MR图像合成。在不同数据集上的大量实验和医生评估表明，TUMSyn可以在监督和零样本场景中生成具有指定成像元数据的临床上有意义的MR图像。因此，TUMSyn可以与采集的MR扫描一起使用，以促进基于大规模MRI的脑部疾病筛查和诊断。

🔬 方法详解

问题定义：现有的多模态脑部MR图像合成方法通常针对特定数据集和任务进行训练，缺乏通用性和泛化能力。当应用于新的数据集或需要生成具有不同成像参数的MR图像时，性能会显著下降。此外，获取多模态MR图像的成本较高，限制了其在临床上的应用。

核心思路：本文的核心思路是利用文本提示来引导MR图像的合成过程。通过将成像参数和模态信息编码为文本，并使用MRI特定的文本编码器，可以更灵活地控制生成过程，从而实现对不同模态和参数的MR图像的合成。这种方法旨在提高模型的通用性和泛化能力，使其能够适应不同的数据集和任务。

技术框架：TUMSyn的整体框架包含以下几个主要模块：1) 脑部MR数据库：包含来自多个中心、多种模态的大量3D MR图像。2) MRI特定文本编码器：使用对比学习进行预训练，将文本提示编码为图像合成的控制信号。3) 图像生成器：根据文本编码器的输出，生成具有指定成像元数据的MR图像。整个流程是，首先输入文本提示和已有的MR扫描，文本提示通过文本编码器转化为特征向量，然后图像生成器结合输入的MR扫描和文本特征向量，生成目标模态和参数的MR图像。

关键创新：TUMSyn的关键创新在于其通用性和文本引导的合成方式。与以往针对特定任务训练的模型不同，TUMSyn通过预训练的MRI特定文本编码器，实现了对合成过程的精细控制，从而可以生成具有不同成像元数据的MR图像。这种方法使得模型能够适应不同的数据集和任务，提高了其在临床上的实用性。

关键设计：TUMSyn的关键设计包括：1) 构建大规模多模态脑部MR数据库，为模型训练提供充足的数据。2) 使用对比学习预训练MRI特定文本编码器，使其能够有效地捕捉文本提示中的成像元数据信息。3) 图像生成器的具体网络结构未知，但推测使用了类似GAN或扩散模型的架构，以生成高质量的MR图像。损失函数可能包括重建损失、对抗损失和对比损失等，以保证生成图像的质量和与文本提示的一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TUMSyn在多个数据集上进行了评估，并在监督和零样本场景下均取得了良好的性能。医生评估表明，TUMSyn生成的MR图像具有临床意义，能够用于辅助诊断。具体的性能数据未知，但论文强调了TUMSyn在泛化能力方面的优势，表明其在新的数据集和任务上也能保持良好的性能。

🎯 应用场景

TUMSyn具有广泛的应用前景，可用于脑部疾病的筛查和诊断。它可以根据已有的MR扫描和文本提示，生成所需的模态和参数的MR图像，从而减少了对额外扫描的需求，降低了医疗成本。此外，TUMSyn还可以用于数据增强，提高脑部疾病诊断模型的性能。未来，该技术有望应用于远程医疗和个性化医疗等领域。

📄 摘要（原文）

Multimodal brain magnetic resonance (MR) imaging is indispensable in neuroscience and neurology. However, due to the accessibility of MRI scanners and their lengthy acquisition time, multimodal MR images are not commonly available. Current MR image synthesis approaches are typically trained on independent datasets for specific tasks, leading to suboptimal performance when applied to novel datasets and tasks. Here, we present TUMSyn, a Text-guided Universal MR image Synthesis generalist model, which can flexibly generate brain MR images with demanded imaging metadata from routinely acquired scans guided by text prompts. To ensure TUMSyn's image synthesis precision, versatility, and generalizability, we first construct a brain MR database comprising 31,407 3D images with 7 MRI modalities from 13 centers. We then pre-train an MRI-specific text encoder using contrastive learning to effectively control MR image synthesis based on text prompts. Extensive experiments on diverse datasets and physician assessments indicate that TUMSyn can generate clinically meaningful MR images with specified imaging metadata in supervised and zero-shot scenarios. Therefore, TUMSyn can be utilized along with acquired MR scan(s) to facilitate large-scale MRI-based screening and diagnosis of brain diseases.