Controlled Evaluation of EEG Foundation Models: Random Initialisation, Band-Power and Validation-Selected Probes

📄 arXiv: 2610.32067v1 📥 PDF

作者: Mingyu Jeon, Suwan Cho, Jae Young Suh

分类: cs.LG, cs.AI

发布日期: 2026-10-23

💡 一句话要点

评估EEG基础模型的控制方法以提高性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: EEG基础模型 性能评估 随机初始化 频谱特征 情感识别 脑机接口 睡眠监测

📋 核心要点

  1. 现有EEG基础模型的评估缺乏必要的控制，可能导致结果不可靠。
  2. 本文通过引入随机初始化、频谱特征和验证选择的探针，系统评估EEG模型的性能。
  3. 实验结果表明，随机初始化在某些任务上与预训练模型相当，且选择探针层的方式显著影响性能。

📝 摘要（中文）

EEG基础模型在下游任务中表现出性能提升，但其评估协议通常缺乏三项控制。本文对五个公开发布的EEG基础模型和一个内部JEPA风格模型进行了评估，采用统一协议并引入随机初始化、频谱特征和验证选择的探针。结果显示，选择探针层的方式显著影响模型性能，且随机初始化在某些任务上能够与预训练模型相媲美。最终，研究提出了四项报告实践，并公开了所有实验数据以供再分析。

🔬 方法详解

问题定义：本文旨在解决EEG基础模型评估中缺乏控制的问题，现有方法可能导致对模型性能的误解。

核心思路：通过引入随机初始化、频谱特征拟合和验证选择的探针，提供更为严谨的评估框架，以确保结果的可靠性。

技术框架：整体流程包括模型选择、控制变量设置、性能评估和结果分析，涵盖五个基准和四个附加任务。

关键创新：本文的创新在于系统地引入三项控制，改变了模型性能的评估方式，与传统方法相比，提供了更为准确的性能比较。

关键设计：在实验中，选择探针层时依据测试得分，随机初始化的模型在某些任务上表现优于预训练模型，且在情感和运动想象任务中未能超越五频带对数功率基线。

📊 实验亮点

实验结果显示，选择探针层的方式使得层级性能平均提升0.034，并在9个细胞中逆转了峰值与输出之间的差距。随机初始化在睡眠和情感任务上与预训练模型相当，且在情感和运动想象任务中未有模型超越五频带对数功率基线。

🎯 应用场景

该研究的潜在应用领域包括脑机接口、情感识别和睡眠监测等。通过提供更为可靠的EEG模型评估方法，能够推动相关领域的研究进展，提高模型在实际应用中的有效性和可靠性。

📄 摘要（原文）

EEG foundation models report downstream gains, yet their protocols seldom include three controls. These are the same encoder untrained, spectral features fitted on the same data, and a layer picked without looking at test scores. We therefore evaluate five publicly released EEG foundation models and an in-house JEPA-style model under one protocol with all three controls and several seeds, on five benchmarks and four added task families. The controls change the reading in three ways. First, picking the probed layer by its test score raises the layer-wise peak by an average of +0.034 and reverses the peak-versus-output gap in 9 of 36 cells. Second, with the layer picked on validation, random initialisation matches or beats pretraining for half of the models on sleep and emotion, and no model beats a five-band log-power baseline on emotion or motor imagery. Third, after full fine-tuning only 5 of 30 pairs gain beyond twice their seed spread, and the one clear loss of -0.290 AUROC persists under matched learning rates. From these results we draw four reporting practices, and we release every cell for re-analysis.