Multi-SIGATnet: A multimodal schizophrenia MRI classification algorithm using sparse interaction mechanisms and graph attention networks

📄 arXiv: 2408.13830v1 📥 PDF

作者: Yuhong Jiao, Jiaqing Miao, Jinnan Gong, Hui He, Ping Liang, Cheng Luo, Ying Tan

分类: cs.CV

发布日期: 2024-08-25

💡 一句话要点

提出基于稀疏交互机制和图注意力网络的多模态精神分裂症MRI分类算法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 精神分裂症 多模态MRI 图注意力网络 稀疏交互机制 脑网络 疾病分类 深度学习

📋 核心要点

  1. 精神分裂症的病理机制复杂，传统方法难以有效利用脑网络中的非欧几里德结构信息进行精确诊断。
  2. Multi-SIGATnet通过融合多模态MRI数据，利用稀疏交互机制提取显著特征，并采用图注意力网络学习脑网络拓扑信息。
  3. 在COBRE和UCLA数据集上，Multi-SIGATnet的平均准确率分别达到81.9%和75.8%，显著优于传统图注意力网络。

📝 摘要（中文）

精神分裂症是一种严重的精神疾病，其发病机制尚不完全清楚，导致难以对患者进行精确治疗。由于人脑复杂的非欧几里德网络结构，从脑网络中学习关键信息仍然困难。为了有效捕捉大脑神经网络的拓扑信息，本文提出了一种基于稀疏交互机制的多模态图注意力网络（Multi-SIGATnet）用于精神分裂症（SZ）分类。首先，将结构和功能信息融合到多模态数据中，为SZ患者获得更全面和丰富的特征。随后，提出了一种稀疏交互机制，以有效提取显著特征并增强特征表示能力。通过基于非对称卷积网络增强特征信息之间的强连接并减弱弱连接，捕获高阶交互特征。此外，设计了稀疏学习策略来过滤掉冗余连接，以提高模型性能。最后，根据高阶脑网络的拓扑特征和连接权重约束更新局部和全局特征，并将特征投影到分类目标空间以进行疾病分类。该模型在生物医学研究卓越中心（COBRE）和加州大学洛杉矶分校（UCLA）数据集上验证了有效性，分别实现了81.9%和75.8%的平均准确率，比图注意力网络（GAT）方法高4.6%和5.5%。实验表明，Multi-SIGATnet方法在识别SZ方面表现出良好的性能。

🔬 方法详解

问题定义：该论文旨在解决精神分裂症的精确分类问题。现有方法难以有效利用多模态脑MRI数据中的复杂拓扑信息，特别是脑网络的非欧几里德结构，导致分类精度不高。传统方法在特征提取和融合方面存在不足，无法充分挖掘疾病相关的关键特征。

核心思路：论文的核心思路是融合多模态MRI数据（结构和功能信息），并利用稀疏交互机制和图注意力网络来学习脑网络的拓扑信息。通过稀疏交互机制提取显著特征，并使用图注意力网络在高阶脑网络中更新局部和全局特征，从而提高分类精度。这种设计旨在克服传统方法在处理非欧几里德数据和特征融合方面的局限性。

技术框架：Multi-SIGATnet的整体框架包括以下几个主要阶段：1) 多模态数据融合：将结构和功能MRI数据融合，形成更全面的特征表示。2) 稀疏交互机制：利用非对称卷积网络增强强连接，减弱弱连接，提取高阶交互特征。3) 稀疏学习策略：过滤冗余连接，提高模型性能。4) 图注意力网络：根据脑网络的拓扑特征和连接权重约束，更新局部和全局特征。5) 分类：将更新后的特征投影到分类目标空间，进行精神分裂症的分类。

关键创新：该论文的关键创新在于提出了稀疏交互机制，用于有效提取显著特征并增强特征表示能力。与现有方法相比，该机制能够更好地捕捉高阶交互特征，并过滤掉冗余连接，从而提高模型性能。此外，将稀疏交互机制与图注意力网络相结合，能够更好地利用脑网络的拓扑信息。

关键设计：稀疏交互机制采用非对称卷积网络，通过调整卷积核的权重来增强强连接，减弱弱连接。稀疏学习策略通过L1正则化或其他稀疏约束来过滤冗余连接。图注意力网络使用注意力机制来学习节点之间的重要性权重，并根据这些权重更新节点特征。损失函数通常包括交叉熵损失和正则化项，用于优化分类性能和模型稀疏性。

📊 实验亮点

Multi-SIGATnet在COBRE和UCLA数据集上分别取得了81.9%和75.8%的平均准确率，相较于传统的图注意力网络（GAT）方法，分别提升了4.6%和5.5%。这些结果表明，该模型在精神分裂症识别方面具有显著优势。

🎯 应用场景

该研究成果可应用于精神分裂症的辅助诊断，帮助医生更准确地识别患者。通过分析脑MRI数据，可以为患者提供个性化的治疗方案。此外，该方法还可以推广到其他神经精神疾病的诊断和研究中，具有重要的临床价值和科学意义。

📄 摘要（原文）

Schizophrenia is a serious psychiatric disorder. Its pathogenesis is not completely clear, making it difficult to treat patients precisely. Because of the complicated non-Euclidean network structure of the human brain, learning critical information from brain networks remains difficult. To effectively capture the topological information of brain neural networks, a novel multimodal graph attention network based on sparse interaction mechanism (Multi-SIGATnet) was proposed for SZ classification was proposed for SZ classification. Firstly, structural and functional information were fused into multimodal data to obtain more comprehensive and abundant features for patients with SZ. Subsequently, a sparse interaction mechanism was proposed to effectively extract salient features and enhance the feature representation capability. By enhancing the strong connections and weakening the weak connections between feature information based on an asymmetric convolutional network, high-order interactive features were captured. Moreover, sparse learning strategies were designed to filter out redundant connections to improve model performance. Finally, local and global features were updated in accordance with the topological features and connection weight constraints of the higher-order brain network, the features being projected to the classification target space for disorder classification. The effectiveness of the model is verified on the Center for Biomedical Research Excellence (COBRE) and University of California Los Angeles (UCLA) datasets, achieving 81.9\% and 75.8\% average accuracy, respectively, 4.6\% and 5.5\% higher than the graph attention network (GAT) method. Experiments showed that the Multi-SIGATnet method exhibited good performance in identifying SZ.