Brain-Cognition Fingerprinting via Graph-GCCA with Contrastive Learning
作者: Yixin Wang, Wei Peng, Yu Zhang, Ehsan Adeli, Qingyu Zhao, Kilian M. Pohl
分类: cs.CV
发布日期: 2024-09-20
💡 一句话要点
提出基于对比学习的图广义典型相关分析CoGraCa，用于脑认知指纹图谱构建。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 脑认知指纹图谱 图神经网络 广义典型相关分析 对比学习 神经影像学 多模态融合 个体差异
📋 核心要点
- 现有方法难以准确编码大脑功能和认知之间的复杂关系，忽略了个体随时间的差异性。
- CoGraCa模型利用图注意力网络和广义典型相关分析，结合对比学习，编码大脑功能和认知关系。
- 实验表明，CoGraCa生成的指纹图谱能有效捕捉个体差异，并在性别和年龄识别上优于现有模型。
📝 摘要（中文）
许多纵向神经影像学研究旨在通过研究大脑功能和认知之间的动态交互来加深对大脑衰老和疾病的理解。这需要准确地编码它们的多维关系，同时考虑个体随时间的变异性。为此，我们提出了一种无监督学习模型（称为基于对比学习的图广义典型相关分析CoGraCa），该模型通过图注意力网络和广义典型相关分析来编码它们的关系。为了创建反映每个人独特神经和认知表型的脑认知指纹图谱，该模型还依赖于个性化和多模态对比学习。我们将CoGraCa应用于健康个体的纵向数据集，该数据集包括每个参与者多次访问时获得的静息态功能磁共振成像和认知测量。生成的指纹图谱有效地捕捉了显著的个体差异，并且在识别性别和年龄方面优于当前的单模态和基于CCA的多模态模型。更重要的是，我们的编码提供了这两种模态之间可解释的交互。
🔬 方法详解
问题定义：该论文旨在解决纵向神经影像研究中，如何准确编码大脑功能和认知之间复杂且动态关系的问题。现有方法难以有效处理个体差异，并且缺乏对多模态数据之间交互的有效建模。传统的单模态方法无法充分利用多模态信息，而基于CCA的多模态方法在处理非线性关系和个体变异性方面存在局限性。
核心思路：论文的核心思路是利用图神经网络（GNN）来建模大脑功能和认知数据之间的关系，并结合广义典型相关分析（GCCA）来学习两种模态之间的共享表示。此外，引入对比学习来增强个体表征的区分性，从而更好地捕捉个体差异。通过这种方式，模型能够学习到更具判别性和鲁棒性的脑认知指纹图谱。
技术框架：CoGraCa模型的整体框架包括以下几个主要模块：1) 图构建模块：利用大脑功能连接数据构建大脑功能图，并利用认知数据构建认知图。2) 图注意力网络（GAT）模块：使用GAT学习每个图节点的表示，从而捕捉节点之间的关系。3) 广义典型相关分析（GCCA）模块：利用GCCA学习大脑功能和认知数据之间的共享表示。4) 对比学习模块：通过对比学习，最大化同一个人不同时间点数据的相似性，同时最小化不同人数据的相似性。
关键创新：该论文的关键创新在于：1) 提出了基于图神经网络和广义典型相关分析的脑认知关系建模方法，能够有效捕捉大脑功能和认知数据之间的复杂关系。2) 引入了个性化和多模态对比学习，增强了个体表征的区分性，从而更好地捕捉个体差异。3) 提出的CoGraCa模型能够生成可解释的脑认知指纹图谱，有助于理解大脑衰老和疾病的机制。
关键设计：在图构建模块中，使用了相关系数来衡量大脑功能连接的强度。在GAT模块中，使用了多头注意力机制来学习节点表示。在GCCA模块中，使用了核方法来处理非线性关系。在对比学习模块中，使用了InfoNCE损失函数来最大化同一个人不同时间点数据的相似性，同时最小化不同人数据的相似性。具体参数设置未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CoGraCa模型在识别性别和年龄方面优于当前的单模态和基于CCA的多模态模型。具体性能提升数据未知。此外，CoGraCa生成的脑认知指纹图谱具有良好的可解释性，能够揭示大脑功能和认知之间的重要交互。
🎯 应用场景
该研究成果可应用于神经科学、医学等领域，例如：早期诊断神经退行性疾病（如阿尔茨海默病），评估个体认知能力，预测疾病发展趋势，以及个性化治疗方案的制定。通过对脑认知指纹图谱的分析，可以更深入地了解大脑功能和认知之间的关系，为相关疾病的预防和治疗提供新的思路。
📄 摘要（原文）
Many longitudinal neuroimaging studies aim to improve the understanding of brain aging and diseases by studying the dynamic interactions between brain function and cognition. Doing so requires accurate encoding of their multidimensional relationship while accounting for individual variability over time. For this purpose, we propose an unsupervised learning model (called \underline{\textbf{Co}}ntrastive Learning-based \underline{\textbf{Gra}}ph Generalized \underline{\textbf{Ca}}nonical Correlation Analysis (CoGraCa)) that encodes their relationship via Graph Attention Networks and generalized Canonical Correlational Analysis. To create brain-cognition fingerprints reflecting unique neural and cognitive phenotype of each person, the model also relies on individualized and multimodal contrastive learning. We apply CoGraCa to longitudinal dataset of healthy individuals consisting of resting-state functional MRI and cognitive measures acquired at multiple visits for each participant. The generated fingerprints effectively capture significant individual differences and outperform current single-modal and CCA-based multimodal models in identifying sex and age. More importantly, our encoding provides interpretable interactions between those two modalities.