Learning 3D Medical Image Models From Brain Functional Connectivity Network Supervision For Mental Disorder Diagnosis

📄 arXiv: 2503.04205v1 📥 PDF

作者: Xingcan Hu, Wei Wang, Li Xiao

分类: cs.CV

发布日期: 2025-03-06

💡 一句话要点

提出CINP框架，利用对比学习融合sMRI与fMRI信息，提升精神疾病诊断准确率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 精神疾病诊断 多模态融合 对比学习 结构MRI 功能连接网络 预训练 网络提示

📋 核心要点

  1. 现有基于fMRI的诊断方法受限于带标注数据集规模小，忽略了易获取的sMRI信息。
  2. CINP框架通过对比学习，将fMRI的功能连接知识迁移到sMRI的表征学习中。
  3. 实验结果表明，该方法在精神疾病诊断任务上表现出色，验证了sMRI在临床诊断中的潜力。

📝 摘要（中文）

本研究针对基于MRI的精神疾病诊断，提出了一种对比图像-网络预训练框架（CINP），旨在整合结构MRI（sMRI）和功能连接网络（FCN）的互补信息，以提高诊断准确率。由于带标注的功能磁共振成像（fMRI）数据集规模有限，限制了其广泛应用，而临床上常用的三维T1加权（T1w）MRI等sMRI常被忽视。CINP通过sMRI和FCN之间的对比学习进行预训练，并结合掩码图像建模和网络-图像匹配来增强视觉表征学习和模态对齐。该方法利用CINP促进从FCN到sMRI的知识迁移，并引入网络提示，仅使用疑似患者的sMRI和少量来自不同患者类别的FCN来诊断精神疾病，这在实际临床场景中具有实用性。在三个精神疾病诊断任务上的实验结果表明，CINP在整合多模态MRI信息方面有效，并展示了将sMRI纳入临床诊断的潜力。

🔬 方法详解

问题定义：现有精神疾病诊断方法主要依赖fMRI数据构建的功能连接网络（FCN），但高质量的带标注fMRI数据获取成本高昂，数据量有限。同时，临床上广泛使用的结构MRI（sMRI）数据蕴含的结构信息往往被忽略，无法充分利用多模态信息进行诊断。因此，如何有效利用易于获取的sMRI数据，并结合少量fMRI数据，提升精神疾病诊断的准确率是一个亟待解决的问题。

核心思路：论文的核心思路是通过对比学习，将fMRI数据中蕴含的功能连接信息迁移到sMRI数据的表征学习中。具体来说，利用fMRI构建的FCN作为监督信号，指导sMRI的特征提取，使得sMRI能够学习到与功能连接相关的结构信息。这样，即使在缺乏大量标注fMRI数据的情况下，也能利用sMRI进行有效的精神疾病诊断。

技术框架：CINP框架包含预训练和微调两个阶段。在预训练阶段，首先对sMRI进行掩码图像建模（Masked Image Modeling），增强视觉表征学习。然后，通过对比学习，将sMRI的特征表示与对应的FCN进行匹配，实现模态对齐。在微调阶段，利用网络提示（Network Prompting），仅使用少量FCN数据和患者的sMRI数据进行诊断。整体流程为：sMRI输入 -> 掩码图像建模 -> 特征提取 -> 与FCN对比学习 -> 网络提示 -> 疾病诊断。

关键创新：该论文的关键创新在于提出了对比图像-网络预训练（CINP）框架，将fMRI的功能连接信息作为监督信号，指导sMRI的表征学习。与传统的仅依赖sMRI或fMRI的诊断方法相比，CINP能够有效整合多模态信息，提高诊断准确率。此外，网络提示（Network Prompting）的设计使得该方法在实际临床场景中更具实用性，仅需少量fMRI数据即可进行诊断。

关键设计：在预训练阶段，使用了InfoNCE损失函数进行对比学习，鼓励sMRI的特征表示与对应的FCN的特征表示尽可能接近，而与其他FCN的特征表示尽可能远离。掩码图像建模采用了随机掩码策略，增强了模型的鲁棒性。在网络提示阶段，设计了一个可学习的提示向量，用于引导sMRI的特征提取，使其更加关注与疾病相关的区域。具体的网络结构和参数设置在论文中有详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该论文在三个精神疾病诊断任务上进行了实验，结果表明CINP框架能够有效提高诊断准确率。具体性能数据和对比基线在论文中有详细描述（未知），但总体而言，CINP在整合多模态MRI信息方面表现出色，并展示了将sMRI纳入临床诊断的潜力。网络提示（Network Prompting）的设计使得该方法在实际临床场景中更具实用性。

🎯 应用场景

该研究成果可应用于精神疾病的辅助诊断，尤其是在fMRI数据匮乏的情况下，能够有效利用临床上易于获取的sMRI数据，提高诊断效率和准确性。此外，该方法也可推广到其他医学影像分析任务中，例如脑部疾病的早期筛查和预后评估，具有重要的临床应用价值和广阔的市场前景。

📄 摘要（原文）

In MRI-based mental disorder diagnosis, most previous studies focus on functional connectivity network (FCN) derived from functional MRI (fMRI). However, the small size of annotated fMRI datasets restricts its wide application. Meanwhile, structural MRIs (sMRIs), such as 3D T1-weighted (T1w) MRI, which are commonly used and readily accessible in clinical settings, are often overlooked. To integrate the complementary information from both function and structure for improved diagnostic accuracy, we propose CINP (Contrastive Image-Network Pre-training), a framework that employs contrastive learning between sMRI and FCN. During pre-training, we incorporate masked image modeling and network-image matching to enhance visual representation learning and modality alignment. Since the CINP facilitates knowledge transfer from FCN to sMRI, we introduce network prompting. It utilizes only sMRI from suspected patients and a small amount of FCNs from different patient classes for diagnosing mental disorders, which is practical in real-world clinical scenario. The competitive performance on three mental disorder diagnosis tasks demonstrate the effectiveness of the CINP in integrating multimodal MRI information, as well as the potential of incorporating sMRI into clinical diagnosis using network prompting.