Fusion of Multiscale Features Via Centralized Sparse-attention Network for EEG Decoding

📄 arXiv: 2512.18689v3 📥 PDF

作者: Xiangrui Cai, Shaocheng Ma, Lei Cao, Jie Li, Tianyu Liu, Yilin Dong

分类: cs.LG, cs.AI

发布日期: 2025-12-21 (更新: 2026-01-02)

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于中心化稀疏注意力网络的脑电信号多尺度特征融合方法，提升脑机接口性能。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 脑电信号解码 脑机接口 多尺度特征融合 注意力机制 稀疏注意力

📋 核心要点

  1. 脑电信号解码面临时空异质性挑战，现有方法难以有效捕捉不同尺度下的复杂脑活动模式。
  2. 提出中心化稀疏注意力网络(EEG-CSANet)，通过主辅分支结构，分别建模全局时空模式和局部交互信息，实现多尺度特征的有效融合。
  3. 在五个公开数据集上取得了SOTA性能，验证了模型的有效性和鲁棒性，并进行了消融实验以增强模型的可解释性。

📝 摘要（中文）

脑电信号(EEG)解码是一项将大脑活动转化为可执行命令的关键技术，为直接脑机接口和智能交互奠定了基础。为了解决脑电信号固有的时空异质性问题，本文提出了一种多分支并行架构，其中每个时间尺度都配备了一个独立的空间特征提取模块。为了进一步增强多分支特征融合，我们提出了一种基于中心化稀疏注意力网络的脑电信号解码方法(EEG-CSANet)。它采用了一种主-辅分支架构，其中主分支通过多尺度自注意力建模核心时空模式，辅助分支通过稀疏交叉注意力促进有效的局部交互。实验结果表明，EEG-CSANet在五个公共数据集(BCIC-IV-2A、BCIC-IV-2B、HGD、SEED和SEED-VIG)上实现了最先进(SOTA)的性能，准确率分别为88.54%、91.09%、97.15%、96.03%和90.56%。这种性能证明了其在各种脑电解码任务中的强大适应性和鲁棒性。此外，还进行了广泛的消融研究，以增强EEG-CSANet的可解释性。未来，我们希望EEG-CSANet能够成为脑电信号解码领域一个有前景的基线模型。源代码已在https://github.com/Xiangrui-Cai/EEG-CSANet上公开。

🔬 方法详解

问题定义：脑电信号解码旨在将大脑活动转化为可执行命令，但脑电信号具有固有的时空异质性，不同时间尺度和空间位置的脑活动模式复杂多样。现有方法难以有效捕捉这种多尺度、非平稳的脑电信号特征，导致解码精度受限。

核心思路：论文的核心思路是利用多分支并行结构提取不同时间尺度的空间特征，并通过中心化的稀疏注意力网络进行融合。这种设计旨在同时捕捉全局的时空模式和局部的交互信息，从而更全面地理解脑电信号。主分支负责建模核心的时空模式，辅助分支则专注于局部交互，两者相互补充，提升特征表达能力。

技术框架：EEG-CSANet采用多分支并行架构，每个分支处理不同时间尺度的脑电信号。每个分支包含一个独立的空间特征提取模块，用于提取特定尺度下的空间特征。然后，所有分支的特征被送入中心化的稀疏注意力网络进行融合。该网络包含一个主分支和一个辅助分支，主分支使用多尺度自注意力机制，辅助分支使用稀疏交叉注意力机制。最后，融合后的特征用于分类或回归任务。

关键创新：论文的关键创新在于提出了中心化的稀疏注意力网络(CSANet)。与传统的注意力机制相比，CSANet采用主辅分支结构，能够更有效地建模全局和局部信息。稀疏交叉注意力机制通过减少注意力计算量，提高了模型的效率和可扩展性。此外，多尺度特征融合策略能够更好地适应脑电信号的时空异质性。

关键设计：主分支采用多尺度自注意力机制，通过不同大小的卷积核提取不同尺度的特征，然后使用自注意力机制建模特征之间的关系。辅助分支采用稀疏交叉注意力机制，通过选择性地关注不同分支的特征，减少计算量并提高效率。损失函数采用交叉熵损失函数，用于分类任务。网络参数通过Adam优化器进行优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EEG-CSANet在五个公开数据集上取得了SOTA性能，在BCIC-IV-2A数据集上准确率达到88.54%，在BCIC-IV-2B数据集上达到91.09%，在HGD数据集上达到97.15%，在SEED数据集上达到96.03%，在SEED-VIG数据集上达到90.56%。相较于现有方法，EEG-CSANet在多个数据集上均有显著提升，证明了其优越的性能。

🎯 应用场景

该研究成果可应用于多种脑机接口(BCI)系统，例如运动想象BCI、情感识别BCI等。通过提高脑电信号解码的准确性和鲁棒性，可以实现更自然、更高效的人机交互。此外，该方法还可以应用于临床诊断，例如癫痫检测、睡眠分期等，为神经系统疾病的诊断和治疗提供新的工具。

📄 摘要（原文）

Electroencephalography (EEG) signal decoding is a key technology that translates brain activity into executable commands, laying the foundation for direct brain-machine interfacing and intelligent interaction. To address the inherent spatiotemporal heterogeneity of EEG signals, this paper proposes a multi-branch parallel architecture, where each temporal scale is equipped with an independent spatial feature extraction module. To further enhance multi-branch feature fusion, we propose a Fusion of Multiscale Features via Centralized Sparse-attention Network (EEG-CSANet), a centralized sparse-attention network. It employs a main-auxiliary branch architecture, where the main branch models core spatiotemporal patterns via multiscale self-attention, and the auxiliary branch facilitates efficient local interactions through sparse cross-attention. Experimental results show that EEG-CSANet achieves state-of-the-art (SOTA) performance across five public datasets (BCIC-IV-2A, BCIC-IV-2B, HGD, SEED, and SEED-VIG), with accuracies of 88.54%, 91.09%, 97.15%, 96.03%, and 90.56%, respectively. Such performance demonstrates its strong adaptability and robustness across various EEG decoding tasks. Moreover, extensive ablation studies are conducted to enhance the interpretability of EEG-CSANet. In the future, we hope that EEG-CSANet could serve as a promising baseline model in the field of EEG signal decoding. The source code is publicly available at: https://github.com/Xiangrui-Cai/EEG-CSANet