Pre-Training Graph Contrastive Masked Autoencoders are Strong Distillers for EEG

📄 arXiv: 2411.19230v2 📥 PDF

作者: Xinxu Wei, Kanhao Zhao, Yong Jiao, Hua Xie, Lifang He, Yu Zhang

分类: cs.LG, cs.AI

发布日期: 2024-11-28 (更新: 2025-07-08)

备注: 24 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出EEG-DisGCMAE，解决低密度脑电图数据下的知识迁移与蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 脑电图 图神经网络 对比学习 掩码自编码器 知识蒸馏 自监督学习 迁移学习

📋 核心要点

  1. 现有方法难以有效利用大量未标注高密度脑电数据，提升有限标注低密度脑电数据场景下的性能。
  2. 提出EEG-DisGCMAE，通过统一的图自监督预训练范式，结合图对比学习和掩码自编码器，实现知识迁移。
  3. 实验表明，该方法在四个脑电分类任务上表现出色，验证了其在处理低密度脑电数据上的有效性。

📝 摘要（中文）

本文旨在解决如何有效利用大量未标注的高密度脑电图(EEG)数据，来提升有限标注的低密度脑电图数据场景下的性能这一挑战。作者将其建模为图迁移学习和知识蒸馏问题，并提出了一个统一的预训练图对比掩码自编码器蒸馏框架，名为EEG-DisGCMAE，以弥合未标注数据与标注数据以及高密度数据与低密度数据之间的差距。该方法引入了一种新颖的统一图自监督预训练范式，无缝集成了图对比预训练和图掩码自编码器预训练。此外，作者还提出了一种图拓扑蒸馏损失函数，使得在低密度数据上训练的轻量级学生模型能够从在高密度数据上训练的教师模型中学习，贯穿预训练和微调阶段。该方法通过对比蒸馏有效地处理缺失电极问题。在两个包含丰富数据的临床脑电数据集上进行的四个分类任务验证了EEG-DisGCMAE的有效性。

🔬 方法详解

问题定义：论文旨在解决在只有少量标注的低密度脑电图（EEG）数据的情况下，如何利用大量未标注的高密度脑电图数据来提升模型性能的问题。现有方法难以有效利用这些未标注数据，并且无法很好地处理高低密度数据之间的差异，尤其是在电极缺失的情况下。

核心思路：论文的核心思路是将问题建模为图迁移学习和知识蒸馏问题。通过预训练一个在高密度数据上学习到的教师模型，然后利用知识蒸馏技术将知识迁移到在低密度数据上训练的学生模型。同时，利用图结构来表示脑电数据，从而更好地处理电极缺失问题。

技术框架：EEG-DisGCMAE包含预训练和微调两个阶段。在预训练阶段，使用统一的图自监督学习范式，同时进行图对比学习和图掩码自编码器学习。在高密度脑电数据上训练教师模型。在微调阶段，使用图拓扑蒸馏损失函数，将教师模型的知识迁移到在低密度脑电数据上训练的学生模型。整体框架包括数据预处理、图构建、模型训练和知识蒸馏等模块。

关键创新：论文的关键创新在于提出了一个统一的图自监督预训练范式，将图对比学习和图掩码自编码器学习无缝集成。此外，提出的图拓扑蒸馏损失函数能够有效地将高密度数据上学习到的知识迁移到低密度数据上，并处理电极缺失问题。这种方法不同于传统的知识蒸馏方法，它利用图结构来更好地表示脑电数据，并进行知识迁移。

关键设计：在图构建方面，论文可能使用了基于电极位置的拓扑结构来构建图。在损失函数方面，图拓扑蒸馏损失函数可能包含对比损失和重构损失，以保证学生模型能够学习到教师模型的图结构和特征表示。具体的网络结构细节（如GCN层数、隐藏层维度等）和超参数设置（如学习率、batch size等）未知，需要参考论文具体实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在四个脑电分类任务上验证了EEG-DisGCMAE的有效性。具体性能数据未知，但摘要表明该方法能够有效地利用高密度未标注数据提升低密度标注数据的模型性能。通过图对比蒸馏，该方法能够有效处理电极缺失问题，并在临床脑电数据集上取得了显著效果。与现有方法相比，EEG-DisGCMAE在知识迁移和数据利用方面具有优势。

🎯 应用场景

该研究成果可应用于多种基于脑电信号的临床诊断和人机交互场景，例如癫痫检测、睡眠分期、运动想象控制等。通过利用大量未标注的脑电数据，可以显著提升模型在低资源场景下的性能，降低对标注数据的依赖，加速相关技术的落地和应用。未来，该方法有望推广到其他类型的生理信号处理任务中。

📄 摘要（原文）

Effectively utilizing extensive unlabeled high-density EEG data to improve performance in scenarios with limited labeled low-density EEG data presents a significant challenge. In this paper, we address this challenge by formulating it as a graph transfer learning and knowledge distillation problem. We propose a Unified Pre-trained Graph Contrastive Masked Autoencoder Distiller, named EEG-DisGCMAE, to bridge the gap between unlabeled and labeled as well as high- and low-density EEG data. Our approach introduces a novel unified graph self-supervised pre-training paradigm, which seamlessly integrates the graph contrastive pre-training with the graph masked autoencoder pre-training. Furthermore, we propose a graph topology distillation loss function, allowing a lightweight student model trained on low-density data to learn from a teacher model trained on high-density data during pre-training and fine-tuning. This method effectively handles missing electrodes through contrastive distillation. We validate the effectiveness of EEG-DisGCMAE across four classification tasks using two clinical EEG datasets with abundant data. The source code is available at https://github.com/weixinxu666/EEG_DisGCMAE.