Aperiodic and Low-Frequency Spectral Bias in Reconstruction based EEG Foundation Models
作者: Aditya Kommineni, Emily Zhou, Kleanthis Avramidis, Simon Bock Segaard, Jeppe Roden Münster, Andreas Peter Juhl Hansen, Takfarinas Medani, Tiantian Feng, Richard Leahy, Shrikanth Narayanan
分类: cs.LG, cs.AI
发布日期: 2026-05-26
备注: 18 pages, 13 figures, 3 tables
💡 一句话要点
揭示基于重构的脑电基础模型对非周期性和低频成分的偏好
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 脑电基础模型 脑机接口 重构学习 频谱分析 非周期性成分 低频偏好 表征学习
📋 核心要点
- 现有脑电基础模型在低资源场景下表现不佳，无法显著优于小型监督模型。
- 论文指出，基于重构的预训练任务与脑电信号的频谱结构不匹配是主要原因。
- 实验表明，模型更关注非周期性成分和低频信息，忽略了高频振荡成分。
📝 摘要（中文）
脑电基础模型通过在大规模无标签脑电数据上预训练，为学习可泛化的脑电表征提供了一条有希望的途径。尽管在数据丰富的场景中表现出积极的结果，但与完全监督模型相比，它们在低资源设置中通常无法显著优于较小的监督模型。本文对这一缺点提供了一个机制性的解释，将其归因于基于重构的预训练任务与脑电信号的特殊频谱结构之间的根本不匹配，脑电信号分解为不同的高功率非周期性和低功率振荡成分。通过使用受控的、合成生成的脑电输入，证明了脑电基础模型嵌入偏向于捕获脑电信号的非周期性成分，而低估了振荡成分，尤其是在较高频率下。此外，对真实世界脑机接口数据集的线性探针评估进一步表明，嵌入编码受试者身份的能力强于任务相关信息，从而强化了主要基于重构目标训练的基础模型嵌入中的低频和非周期性成分偏好。这些发现阐明了基于重构的脑电基础模型中的一种失效模式，并促使未来的工作将明确针对高频振荡结构的辅助损失纳入其中，以此作为实现更强大和更通用的脑电表征的途径。
🔬 方法详解
问题定义：论文旨在解决基于重构的脑电基础模型在低资源场景下表现不佳的问题。现有方法主要依赖于重构损失进行预训练，但忽略了脑电信号中不同频率成分的重要性，导致模型学习到的表征存在偏差，无法有效提取任务相关信息。
核心思路：论文的核心思路是揭示基于重构的脑电基础模型对非周期性和低频成分的偏好，并提出可以通过引入辅助损失来显式地关注高频振荡结构，从而改善模型的性能。通过分析模型对不同频率成分的敏感度，以及评估模型编码受试者身份和任务相关信息的能力，来验证这一假设。
技术框架：论文的技术框架主要包括以下几个部分：1) 使用合成生成的脑电信号，控制不同频率成分的强度，分析模型嵌入对这些成分的响应。2) 在真实世界的脑机接口数据集上进行线性探针评估，评估模型编码受试者身份和任务相关信息的能力。3) 分析模型嵌入的频谱特性，揭示其对非周期性和低频成分的偏好。
关键创新：论文最重要的技术创新点在于揭示了基于重构的脑电基础模型对非周期性和低频成分的偏好。与现有方法不同，论文不仅关注模型的整体性能，还深入分析了模型对不同频率成分的敏感度，从而发现了模型学习到的表征存在偏差。
关键设计：论文的关键设计包括：1) 使用合成生成的脑电信号，可以精确控制不同频率成分的强度，从而更好地分析模型嵌入的响应。2) 使用线性探针评估，可以评估模型编码受试者身份和任务相关信息的能力，从而揭示模型学习到的表征的偏差。3) 分析模型嵌入的频谱特性，可以直观地了解模型对不同频率成分的关注程度。
🖼️ 关键图片
📊 实验亮点
论文通过合成脑电信号和真实脑机接口数据集的实验，证明了基于重构的脑电基础模型对非周期性和低频成分的偏好。线性探针评估表明，模型嵌入编码受试者身份的能力强于任务相关信息，强化了低频和非周期性成分偏好。这些发现为改进脑电基础模型的预训练方法提供了重要的指导。
🎯 应用场景
该研究成果可应用于脑机接口、神经疾病诊断等领域。通过改进脑电基础模型的预训练方法，可以提升模型在低资源场景下的性能，从而降低对大量标注数据的依赖，加速相关技术的应用和发展。未来的研究可以探索更多有效的辅助损失函数，以更好地利用脑电信号的频谱信息。
📄 摘要（原文）
EEG foundation models, pre-trained on large-scale unlabelled EEG data, have emerged as a promising direction towards learning generalizable EEG representations. Despite showing positive results in data-rich regimes, they often fail to outperform significantly smaller supervised models in low-resource settings compared to fully supervised models. We provide a mechanistic account of this shortcoming, attributing it to a fundamental mismatch between reconstruction-based pretext tasks and the idiosyncratic spectral structure of EEG signals, which decompose into distinct high-power aperiodic and low-power oscillatory components. Using controlled, synthetically-generated EEG inputs, we demonstrate that EEG foundation model embeddings are biased to capture the aperiodic components of the EEG signal while under-representing oscillatory components, particularly at higher frequencies. Additionally, linear probe evaluations on real-world BCI datasets further reveal that embeddings encode subject identity more strongly than task-relevant information, thereby reinforcing the low-frequency and aperiodic component bias in foundation model embeddings trained primarily on reconstruction based objectives. Together, these findings elucidate a failure mode in reconstruction based EEG foundation models and motivate future work to incorporate auxiliary losses explicitly targeting high-frequency oscillatory structure as a path toward more capable and generalizable EEG representations.