Graph Adapter of EEG Foundation Models for Parameter Efficient Fine Tuning

📄 arXiv: 2411.16155v2 📥 PDF

作者: Toyotaro Suzumura, Hiroki Kanezashi, Shotaro Akahori

分类: cs.LG, cs.AI, eess.SP

发布日期: 2024-11-25 (更新: 2025-02-18)

备注: Accepted AAAI W3PHIAI-25 Workshop

💡 一句话要点

提出EEG-GraphAdapter，用于脑电图基础模型的参数高效微调

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电图 图神经网络 参数高效微调 迁移学习 神经系统疾病诊断

📋 核心要点

  1. 现有方法难以在计算资源有限的情况下，对脑电图数据的时序和空间特征进行有效建模和微调。
  2. EGA通过冻结预训练时序骨干网络，并引入可微调的GNN适配器来学习脑电图的空间关系，实现参数高效微调。
  3. 实验表明，EGA在重度抑郁症和异常检测任务上，相比基线模型，F1分数最高提升了16.1%。

📝 摘要（中文）

本文提出了一种名为EEG-GraphAdapter (EGA) 的参数高效微调(PEFT)方法，旨在解决脑电图(EEG)数据神经系统疾病诊断中，Transformer等基础模型捕获时序动态以及图神经网络(GNN)表示空间关系时，大规模模型微调计算成本过高的问题，尤其是在标记EEG数据集有限的情况下。EGA作为一个基于GNN的模块集成到预训练的时序骨干模型中，冻结骨干网络，只允许微调适配器。这使得能够有效地获取EEG空间表示，显著降低计算开销和数据需求。在两个与医疗保健相关的下游任务——重度抑郁症(MDD)和异常检测(TUAB)上的实验评估表明，与骨干BENDR模型相比，EGA在F1分数上提高了高达16.1%，突显了其在可扩展和准确的基于EEG的预测方面的潜力。

🔬 方法详解

问题定义：脑电图(EEG)数据分析中，利用Transformer等大型模型提取时序特征，GNN提取空间特征是常见做法。然而，直接对这些大型模型进行微调，计算成本高昂，尤其是在标注数据有限的情况下，限制了其在实际医疗场景中的应用。因此，如何在有限的计算资源和数据下，高效地利用预训练模型进行脑电信号分析是一个关键问题。

核心思路：本文的核心思路是采用参数高效微调(PEFT)策略，具体而言，冻结预训练的时序特征提取骨干网络，并引入一个小型可训练的GNN适配器模块，专门用于学习脑电信号的空间关系。这样，大部分模型参数保持不变，只有适配器模块需要训练，从而大大降低了计算成本和数据需求。

技术框架：EGA的整体框架包含两个主要部分：1) 预训练的时序特征提取骨干网络（例如，Transformer模型），负责从脑电信号中提取时序动态；2) GNN适配器模块，负责学习脑电传感器之间的空间关系。脑电信号首先输入到骨干网络中提取时序特征，然后将提取的特征输入到GNN适配器中，结合脑电传感器的空间位置信息，学习空间表示。最后，将时序和空间特征融合，用于下游任务的预测。

关键创新：EGA的关键创新在于将GNN适配器模块集成到预训练的时序骨干网络中，实现了参数高效的脑电信号时空特征学习。与直接微调整个模型相比，EGA只需要训练少量参数，大大降低了计算成本和数据需求。此外，EGA的设计允许灵活地选择不同的GNN架构作为适配器，以适应不同的脑电信号分析任务。

关键设计：GNN适配器的具体结构可以根据任务需求进行选择，例如，可以使用图卷积网络(GCN)、图注意力网络(GAT)等。关键设计包括：1) 如何将时序特征与GNN的节点特征进行融合；2) 如何定义GNN的图结构，例如，可以根据脑电传感器的物理位置构建图；3) 如何设计损失函数，例如，可以使用交叉熵损失函数进行分类任务的训练。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，在重度抑郁症(MDD)和异常检测(TUAB)两个下游任务上，EGA相比于基线BENDR模型，F1分数分别提升了16.1%和显著水平。这表明EGA能够有效地学习脑电信号的时空特征，并在参数高效的前提下，显著提升脑电信号分析的性能。

🎯 应用场景

EGA可应用于多种基于脑电信号的神经系统疾病诊断和监测场景，例如重度抑郁症诊断、癫痫发作预测、睡眠分期等。其参数高效的特性使其特别适用于资源受限的医疗环境，有助于推动脑电信号分析技术在临床实践中的应用，并为患者提供更准确、及时的诊断和治疗。

📄 摘要（原文）

In diagnosing neurological disorders from electroencephalography (EEG) data, foundation models such as Transformers have been employed to capture temporal dynamics. Additionally, Graph Neural Networks (GNNs) are critical for representing the spatial relationships among EEG sensors. However, fine-tuning these large-scale models for both temporal and spatial features can be prohibitively large in computational cost, especially under the limited availability of labeled EEG datasets. We propose EEG-GraphAdapter (EGA), a parameter-efficient fine-tuning (PEFT) approach designed to address these challenges. EGA is integrated into a pre-trained temporal backbone model as a GNN-based module, freezing the backbone and allowing only the adapter to be fine-tuned. This enables the effective acquisition of EEG spatial representations, significantly reducing computational overhead and data requirements. Experimental evaluations on two healthcare-related downstream tasks-Major Depressive Disorder (MDD) and Abnormality Detection (TUAB)-show that EGA improves performance by up to 16.1% in F1-score compared with the backbone BENDR model, highlighting its potential for scalable and accurate EEG-based predictions.