DSAM: A Deep Learning Framework for Analyzing Temporal and Spatial Dynamics in Brain Networks

📄 arXiv: 2405.15805v1 📥 PDF

作者: Bishal Thapaliya, Robyn Miller, Jiayu Chen, Yu-Ping Wang, Esra Akbas, Ram Sapkota, Bhaskar Ray, Pranav Suresh, Santosh Ghimire, Vince Calhoun, Jingyu Liu

分类: q-bio.NC, cs.AI, cs.LG

发布日期: 2024-05-19

备注: 18 Pages, 4 figures

期刊: Medical Image Analysis, Volume 91, 2025, Article 102124

DOI: 10.1016/j.media.2025.103462

💡 一句话要点

DSAM：一种用于分析大脑网络时空动态的深度学习框架

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 功能磁共振成像 深度学习 图神经网络 脑网络 时间序列分析 注意力机制 功能连接 时空动态

📋 核心要点

  1. 传统rs-fMRI方法依赖静态或滑动窗口连接矩阵，无法充分捕捉大脑动态，且缺乏任务针对性。
  2. DSAM框架通过时间卷积、注意力机制和图神经网络，直接从时间序列学习目标特定的功能连接。
  3. 在HCP和ABCD数据集上的实验表明，DSAM超越了固定连接假设，揭示了任务相关的脑连接模式。

📝 摘要（中文）

静息态功能磁共振成像(rs-fMRI)是一种重要的非侵入式技术，用于理解人类复杂认知过程的神经机制。大多数rs-fMRI研究计算单个静态功能连接矩阵或使用滑动窗口方法计算动态功能连接矩阵，但这些方法可能过度简化大脑动态，并且缺乏对目标任务的适当考虑。虽然深度学习在建模复杂关系数据方面获得了广泛的欢迎，但其在揭示大脑时空动态方面的应用仍然有限。我们提出了一种新颖的可解释深度学习框架DSAM，该框架直接从时间序列中学习目标特定的功能连接矩阵，并采用专门的图神经网络进行最终分类。DSAM利用时间因果卷积网络来捕获低级和高级特征表示中的时间动态，利用时间注意力单元来识别重要的时间点，利用自注意力单元来构建目标特定的连接矩阵，并利用一种新型的图神经网络来捕获空间动态以进行下游分类。为了验证我们的方法，我们使用包含1075个样本的人类连接组项目数据集构建并解释了用于性别分类的模型，并使用包含8520个样本的青少年大脑认知发展数据集进行了独立测试。与最先进的模型相比，结果表明这种新方法超越了固定连接矩阵的假设，并提供了目标特定大脑连接模式的证据，这开启了深入了解人脑如何针对手头任务调整其功能连接的潜力。

🔬 方法详解

问题定义：现有rs-fMRI研究通常采用静态或基于滑动窗口的方法构建功能连接矩阵，这些方法无法充分捕捉大脑动态变化，并且没有充分考虑特定任务的需求。这些方法可能过度简化大脑活动，导致对大脑功能连接的理解不够深入。

核心思路：DSAM的核心思路是从rs-fMRI时间序列数据中直接学习目标特定的功能连接矩阵。通过引入时间注意力机制和自注意力机制，模型能够关注重要的时间点和构建任务相关的连接模式，从而更准确地反映大脑在特定任务下的功能连接状态。

技术框架：DSAM框架包含以下主要模块：1) 时间因果卷积网络（TCCN）：用于提取时间序列的低级和高级特征表示；2) 时间注意力单元：用于识别时间序列中重要的时间点；3) 自注意力单元：用于构建目标特定的功能连接矩阵；4) 图神经网络（GNN）：用于捕获大脑区域之间的空间动态，并进行最终的分类。整个流程是从时间序列数据输入开始，经过TCCN提取特征，然后通过注意力机制选择重要时间点，构建连接矩阵，最后使用GNN进行分类。

关键创新：DSAM的关键创新在于其能够直接从时间序列数据中学习目标特定的功能连接矩阵，而不是依赖于预定义的静态或动态连接矩阵。此外，该框架还引入了时间注意力机制和自注意力机制，使得模型能够更加关注与任务相关的脑区和时间点。提出的图神经网络变体也针对脑网络进行了优化。

关键设计：时间因果卷积网络采用因果卷积，避免了未来信息泄露。时间注意力单元使用softmax函数对不同时间点的权重进行归一化。自注意力单元使用多头注意力机制来构建连接矩阵。图神经网络采用谱图卷积，并针对大脑网络的拓扑结构进行了优化。损失函数包括分类损失和正则化项，以防止过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DSAM在人类连接组项目（HCP）数据集上进行了性别分类实验，并在青少年大脑认知发展（ABCD）数据集上进行了独立测试。实验结果表明，DSAM的分类性能优于其他最先进的模型，例如支持向量机（SVM）和传统图神经网络。此外，DSAM还能够提供可解释的脑连接模式，揭示了与性别相关的脑区连接差异。

🎯 应用场景

DSAM框架可应用于多种脑疾病的诊断和预测，例如阿尔茨海默病、精神分裂症等。通过分析患者在特定任务下的功能连接模式，可以帮助医生更准确地识别疾病的生物标志物，并制定个性化的治疗方案。此外，该框架还可以用于研究不同认知过程的神经机制，例如学习、记忆和决策等。

📄 摘要（原文）

Resting-state functional magnetic resonance imaging (rs-fMRI) is a noninvasive technique pivotal for understanding human neural mechanisms of intricate cognitive processes. Most rs-fMRI studies compute a single static functional connectivity matrix across brain regions of interest, or dynamic functional connectivity matrices with a sliding window approach. These approaches are at risk of oversimplifying brain dynamics and lack proper consideration of the goal at hand. While deep learning has gained substantial popularity for modeling complex relational data, its application to uncovering the spatiotemporal dynamics of the brain is still limited. We propose a novel interpretable deep learning framework that learns goal-specific functional connectivity matrix directly from time series and employs a specialized graph neural network for the final classification. Our model, DSAM, leverages temporal causal convolutional networks to capture the temporal dynamics in both low- and high-level feature representations, a temporal attention unit to identify important time points, a self-attention unit to construct the goal-specific connectivity matrix, and a novel variant of graph neural network to capture the spatial dynamics for downstream classification. To validate our approach, we conducted experiments on the Human Connectome Project dataset with 1075 samples to build and interpret the model for the classification of sex group, and the Adolescent Brain Cognitive Development Dataset with 8520 samples for independent testing. Compared our proposed framework with other state-of-art models, results suggested this novel approach goes beyond the assumption of a fixed connectivity matrix and provides evidence of goal-specific brain connectivity patterns, which opens up the potential to gain deeper insights into how the human brain adapts its functional connectivity specific to the task at hand.