Neural State Prediction: Obstructing Shortcut Learning in EEG Foundation Models

📄 arXiv: 2609.31167v1 📥 PDF

作者: Kieren Yu, Ziyang Liu, Chang Huang, Jintai Chen, Kaishun Wu

分类: cs.AI

发布日期: 2026-09-25

💡 一句话要点

提出神经状态预测以解决EEG模型中的快捷学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: EEG基础模型 神经状态预测 掩蔽预测 多任务学习 信号处理

📋 核心要点

  1. 现有EEG基础模型在掩蔽预测中存在依赖低信息预测路径的问题，导致神经表征的可转移性不足。
  2. 论文提出神经状态预测（NSP）框架，通过限制预测目标和上下文，减少对稳定位置信息的依赖。
  3. 在30个下游数据集上进行评估，NSP在EEG-FM-Bench上实现了63.94的宏平衡准确率，超越基线表现。

📝 摘要（中文）

随着EEG基础模型越来越多地使用掩蔽预测从未标记的记录中学习，优化这一目标并不能确保可转移的神经表征。一个核心挑战是稳定的位置信息和局部相关性使得掩蔽区域的预测变得可行，而不需要整合分布式神经上下文。为减少对低信息预测路径的依赖，本文提出了神经状态预测（NSP），这是一个潜在预测框架，限制了预测目标和可用上下文。NSP使用通过指数移动平均（EMA）更新的目标编码器来定义潜在监督。身份残差化消除了与通道身份和相对时间相关的附加效应，而拓扑分离上下文则排除了其直接空间和时间邻域。我们在220万段EEG数据上对NSP进行了预训练，并在30个下游数据集上进行了评估。NSP在EEG-FM-Bench上的全参数多任务微调中，在14个数据集上达到了63.94的宏平衡准确率，超越了最强基线2.35个百分点。

🔬 方法详解

问题定义：本文旨在解决EEG基础模型在掩蔽预测中存在的快捷学习问题，现有方法往往依赖于稳定的位置信息和局部相关性，导致神经表征的可转移性不足。

核心思路：提出神经状态预测（NSP）框架，通过限制预测目标和可用上下文，迫使模型整合分布式神经上下文，从而减少对低信息路径的依赖。

技术框架：NSP框架主要包括目标编码器、身份残差化和拓扑分离上下文模块。目标编码器通过EMA更新，身份残差化消除通道身份影响，拓扑分离上下文排除直接邻域信息。

关键创新：NSP的核心创新在于联合设计潜在目标和上下文，区别于传统方法的单一目标预测，增强了模型对分布式信号结构的学习能力。

关键设计：在参数设置上，使用EMA更新目标编码器，损失函数设计上引入身份残差化，网络结构上采用拓扑分离上下文，以确保模型在多任务学习中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在EEG-FM-Bench的全参数多任务微调中，NSP在14个数据集上达到了63.94的宏平衡准确率，超越了最强基线2.35个百分点。通过控制组件消融实验，评估了各机制的贡献，进一步验证了NSP的有效性。

🎯 应用场景

该研究的潜在应用领域包括临床诊断、睡眠分期、情感识别、运动想象、事件相关电位、认知状态解码和语言检索等。通过提高EEG模型的可转移性，NSP有望在多个领域实现更高的准确性和可靠性，推动相关应用的发展。

📄 摘要（原文）

EEG foundation models increasingly use masked prediction to learn from unlabeled recordings, but optimizing this objective does not ensure transferable neural representations. A central challenge is that stable positional cues and local correlations can make masked regions predictable without integrating distributed neural context. To reduce this reliance on low-information prediction paths, we introduce Neural State Prediction (NSP), a latent-predictive framework that constrains both the prediction target and the available context. NSP uses a Target Encoder updated by an exponential moving average (EMA) to define latent supervision. Identity residualization removes additive effects associated with channel identity and relative time from the targets, while topology-separated context excludes their immediate spatial and temporal neighborhood from the visible input. We pretrain NSP on 2.2 million EEG segments from TUEG and evaluate it across 30 downstream datasets spanning clinical diagnosis, sleep staging, emotion recognition, motor imagery, event-related potentials, cognitive-state decoding, and language retrieval. Under full-parameter multi-task fine-tuning on EEG-FM-Bench, NSP achieves 63.94 macro balanced accuracy across 14 datasets, exceeding the strongest evaluated baseline by 2.35 percentage points. Controlled component ablations assess the contribution of each mechanism, while matched context controls and held-out interventions characterize the role of context geometry, signal content, and positional information. Jointly designing latent targets and their context offers a promising direction for EEG foundation models that learn from distributed signal structure.