GateFuseNet: An Adaptive 3D Multimodal Neuroimaging Fusion Network for Parkinson's Disease Diagnosis

📄 arXiv: 2510.22507v1 📥 PDF

作者: Rui Jin, Chen Chen, Yin Liu, Hongfu Sun, Min Zeng, Min Li, Yang Gao

分类: cs.CV, cs.AI

发布日期: 2025-10-26

备注: The first two authors contributed equally to this work. Correspondence to: Yang Gao, E-mail: yang.gao@csu.edu.cn

🔗 代码/项目: GITHUB

💡 一句话要点

提出GateFuseNet，利用自适应3D多模态融合网络辅助帕金森病诊断。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 帕金森病诊断 多模态融合 神经影像 深度学习 门控机制

📋 核心要点

  1. 帕金森病MRI诊断面临症状多样性和病理异质性的挑战，传统T1w图像敏感性不足。
  2. GateFuseNet通过门控融合模块，自适应学习模态权重和通道门控，增强ROI特征。
  3. 实验结果表明，GateFuseNet在帕金森病诊断中，准确率达85.00%，AUC达92.06%，优于现有方法。

📝 摘要（中文）

由于症状变异性和病理异质性，通过MRI准确诊断帕金森病(PD)仍然具有挑战性。现有方法主要依赖于传统的基于幅值的MRI模态，如T1加权像(T1w)，但其对PD病理的敏感性低于定量磁化率映射(QSM)。QSM是一种基于相位MRI技术，可量化深部灰质核团中的铁沉积。本研究提出了一种自适应3D多模态融合网络GateFuseNet，集成了QSM和T1w图像用于PD诊断。核心创新在于门控融合模块，该模块学习模态特定的注意力权重和通道方向的门控向量，以进行选择性的特征调制。这种分层门控机制增强了ROI感知的特征，同时抑制了不相关的信号。实验结果表明，该方法优于三种现有的最先进方法，实现了85.00%的准确率和92.06%的AUC。消融研究进一步验证了ROI引导、多模态集成和融合定位的贡献。Grad-CAM可视化证实了模型对临床相关病理区域的关注。

🔬 方法详解

问题定义：论文旨在解决帕金森病（PD）的准确诊断问题，特别是利用MRI影像进行早期诊断。现有方法主要依赖T1w图像，对PD病理特征不够敏感，且忽略了QSM图像中铁沉积等重要信息，导致诊断精度受限。

核心思路：论文的核心思路是利用多模态MRI信息（T1w和QSM），通过自适应融合的方式，提取并增强与PD相关的特征。通过门控机制，模型能够学习不同模态和通道的重要性，从而更有效地利用信息，提高诊断准确率。

技术框架：GateFuseNet的整体架构包含以下几个主要模块：1) 特征提取模块：分别从T1w和QSM图像中提取特征。2) 门控融合模块：该模块是核心，用于自适应地融合多模态特征。它包含模态特定的注意力权重学习和通道方向的门控向量学习。3) 分类模块：利用融合后的特征进行PD诊断。

关键创新：GateFuseNet的关键创新在于其门控融合模块。该模块通过学习模态特定的注意力权重，使模型能够关注更重要的模态信息。同时，通道方向的门控向量学习，允许模型选择性地增强或抑制不同通道的特征，从而提高特征表达能力。这种分层门控机制能够更好地提取ROI相关的特征，并抑制无关信号。

关键设计：门控融合模块的设计是关键。具体来说，模态注意力权重通过一个小型神经网络学习得到，该网络以两个模态的特征作为输入。通道门控向量则通过另一个小型神经网络学习，该网络以融合后的特征作为输入。损失函数方面，论文可能采用了交叉熵损失函数，用于训练分类器。网络结构方面，可能采用了3D卷积神经网络作为特征提取器。

📊 实验亮点

GateFuseNet在帕金森病诊断任务中取得了显著的性能提升。实验结果表明，该方法在准确率和AUC指标上均优于现有方法，准确率达到85.00%，AUC达到92.06%。与三种state-of-the-art方法相比，GateFuseNet展现出更强的诊断能力。消融实验验证了ROI引导、多模态集成和融合定位对性能提升的贡献。

🎯 应用场景

GateFuseNet在神经影像分析领域具有广泛的应用前景，可用于帕金森病等神经退行性疾病的早期诊断和病情监测。该方法能够有效融合多模态MRI信息，提高诊断准确率，为临床医生提供更可靠的辅助诊断工具。未来，该技术可扩展到其他脑部疾病的诊断，并与其他临床数据结合，实现更精准的个体化诊疗。

📄 摘要（原文）

Accurate diagnosis of Parkinson's disease (PD) from MRI remains challenging due to symptom variability and pathological heterogeneity. Most existing methods rely on conventional magnitude-based MRI modalities, such as T1-weighted images (T1w), which are less sensitive to PD pathology than Quantitative Susceptibility Mapping (QSM), a phase-based MRI technique that quantifies iron deposition in deep gray matter nuclei. In this study, we propose GateFuseNet, an adaptive 3D multimodal fusion network that integrates QSM and T1w images for PD diagnosis. The core innovation lies in a gated fusion module that learns modality-specific attention weights and channel-wise gating vectors for selective feature modulation. This hierarchical gating mechanism enhances ROI-aware features while suppressing irrelevant signals. Experimental results show that our method outperforms three existing state-of-the-art approaches, achieving 85.00% accuracy and 92.06% AUC. Ablation studies further validate the contributions of ROI guidance, multimodal integration, and fusion positioning. Grad-CAM visualizations confirm the model's focus on clinically relevant pathological regions. The source codes and pretrained models can be found at https://github.com/YangGaoUQ/GateFuseNet