Benchmarking Positional Encoding Strategies for Transformer-Based EEG Foundation Models

📄 arXiv: 2605.29754v1 📥 PDF

作者: Ayse Betul Yuce, Sebastian Stober

分类: cs.AI

发布日期: 2026-05-28

💡 一句话要点

针对脑电Transformer基础模型，对比评估多种位置编码策略在脑机接口任务中的性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电图 Transformer 位置编码 脑机接口 自监督学习

📋 核心要点

  1. 脑电解码模型泛化能力弱，促使研究者探索基于Transformer的脑电基础模型。
  2. 论文对比评估了五种位置编码策略，旨在找到适用于脑电Transformer模型的最佳位置编码方法。
  3. 实验结果表明，没有一种位置编码策略在所有脑电解码任务中都表现最佳，最优策略依赖于具体任务。

📝 摘要（中文）

脑电图(EEG)是一种广泛应用于脑机接口(BCI)的非侵入式脑活动测量技术。有监督的脑电解码模型通常难以在不同任务、被试和数据集上泛化，这促使研究者们探索基于Transformer的、使用自监督学习训练的脑电基础模型。由于Transformer具有置换不变性，因此需要显式的位置信息。与文本token不同，脑电电极在头皮上呈空间分布，这就提出了如何在基于Transformer的脑电模型中编码电极位置的问题。本研究在CBraMod骨干网络中对五种位置编码策略进行了基准测试，并在运动想象分类和情绪识别任务上，通过线性探测和微调协议对它们进行了评估。结果表明，没有一种策略在所有任务中始终表现最佳。球面位置编码(SPE)在运动想象方面产生了强大的表征，但在情绪识别方面表现不佳，而非对称条件位置编码(ACPE)在不同任务中表现出更一致的性能。这些发现表明，最佳的位置编码策略是任务相关的，在脑电解码场景中没有通用的解决方案。

🔬 方法详解

问题定义：论文旨在解决脑电Transformer模型中电极位置信息的有效编码问题。现有的脑电解码模型泛化能力差，而Transformer的置换不变性使得位置编码至关重要。如何针对脑电信号的特点，选择或设计合适的位置编码策略，是提升模型性能的关键挑战。

核心思路：论文的核心思路是通过实验对比多种位置编码策略，评估它们在不同脑电解码任务中的性能。通过分析不同策略的优缺点，揭示位置编码对模型性能的影响，并为未来的模型设计提供指导。

技术框架：论文采用CBraMod作为Transformer骨干网络，并在此基础上评估了五种位置编码策略：1)无位置编码；2)可学习的位置编码；3)相对位置编码；4)球面位置编码(SPE)；5)非对称条件位置编码(ACPE)。评估方法包括线性探测和微调，任务包括运动想象分类和情绪识别。

关键创新：论文的关键创新在于对多种位置编码策略进行了系统的基准测试，并分析了它们在不同脑电解码任务中的表现差异。这为脑电Transformer模型的位置编码选择提供了实证依据，并指出了任务依赖性的重要性。

关键设计：论文的关键设计包括：1)选择CBraMod作为骨干网络，保证了实验的可重复性和可比性；2)采用线性探测和微调两种评估协议，全面评估了位置编码策略对表征学习和任务适应性的影响；3)选取运动想象和情绪识别两种具有代表性的脑电解码任务，考察了位置编码策略的泛化能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，球面位置编码(SPE)在运动想象任务中表现出色，而非对称条件位置编码(ACPE)在不同任务中表现出更一致的性能。研究发现，没有一种位置编码策略在所有任务中都始终优于其他策略，最佳策略的选择取决于具体的脑电解码任务。

🎯 应用场景

该研究成果可应用于脑机接口(BCI)系统，例如运动控制、情感识别和辅助康复等领域。通过选择合适的位置编码策略，可以提高脑电Transformer模型的性能和泛化能力，从而提升BCI系统的准确性和可靠性。未来的研究可以进一步探索更有效的位置编码方法，并将其应用于更广泛的脑电解码任务中。

📄 摘要（原文）

Electroencephalography (EEG) is a widely used non-invasive technique for measuring brain activity in brain-computer interface (BCI) applications. Supervised EEG decoding models often struggle to generalize across tasks, subjects, and datasets, motivating transformer-based EEG foundation models trained with self-supervised learning. Since transformers are permutation-invariant, they require explicit positional information. Unlike textual tokens, EEG electrodes are spatially distributed across the scalp, raising the question of how electrode positions should be encoded in transformer-based EEG models. In this study, we benchmark five positional encoding strategies within the CBraMod backbone and evaluate them under linear probing and fine-tuning protocols on motor imagery classification and emotion recognition. Our results show that no single strategy consistently outperforms across tasks. Spherical Positional Encoding (SPE) yields strong representations for motor imagery but underperforms on emotion recognition, while Asymmetric Conditional Positional Encoding (ACPE) demonstrates more consistent performance across tasks. These findings suggest that the optimal positional encoding strategy is task-dependent, with no universal solution across EEG decoding scenarios.