Multiscale fusion enhanced spiking neural network for invasive BCI neural signal decoding

📄 arXiv: 2410.03533v1 📥 PDF

作者: Yu Song, Liyuan Han, Bo Xu, Tielin Zhang

分类: cs.NE, cs.AI, q-bio.NC

发布日期: 2024-09-14

💡 一句话要点

提出多尺度融合增强型脉冲神经网络，用于侵入式脑机接口神经信号解码。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 脑机接口 脉冲神经网络 多尺度融合 神经信号解码 侵入式BCI

📋 核心要点

  1. 现有BCI神经信号解码方法在实时性、效率和泛化性方面存在挑战，难以满足长期稳定解码的需求。
  2. MFSNN通过模仿人类视觉感知，利用多尺度特征融合和脉冲神经网络的特性，提升解码性能和能效。
  3. 实验表明，MFSNN在准确性和计算效率上优于传统ANN方法，并具备良好的跨日泛化能力。

📝 摘要（中文）

脑机接口（BCI）是神经科学和人工智能的先进融合，需要稳定和长期地解码神经信号。脉冲神经网络（SNNs）凭借其神经元动力学和基于脉冲的信号处理，天然适合这项任务。本文提出了一种利用多尺度融合增强型脉冲神经网络（MFSNN）的新方法。MFSNN模拟人类视觉感知中的并行处理和多尺度特征融合，以实现实时、高效和节能的神经信号解码。最初，MFSNN采用时间卷积网络和通道注意力机制从原始数据中提取时空特征。然后，它通过跳跃连接整合这些特征来提高解码性能。此外，MFSNN通过小批量监督泛化学习提高了跨日信号解码的泛化性和鲁棒性。在包括单手抓握和触摸以及中心外伸任务在内的两个基准侵入式BCI范例中，MFSNN在准确性和计算效率方面均优于传统的人工神经网络方法，如MLP和GRU。此外，MFSNN的多尺度特征融合框架非常适合在神经形态芯片上实现，为侵入式BCI信号的在线解码提供了一种节能解决方案。

🔬 方法详解

问题定义：论文旨在解决侵入式脑机接口（BCI）中神经信号解码的准确性、效率和泛化性问题。现有方法，如传统人工神经网络（ANN），在处理复杂的神经信号时，难以兼顾实时性、计算效率和跨日信号的鲁棒性。尤其是在需要长期稳定解码的场景下，现有方法的性能会显著下降。

核心思路：论文的核心思路是借鉴人类视觉感知中的多尺度特征融合机制，并结合脉冲神经网络（SNN）的优势，构建一个能够高效、准确地解码神经信号的模型。SNN的神经元动力学和基于脉冲的信号处理方式，更接近生物神经系统的运作方式，因此更适合处理神经信号。多尺度特征融合则能够提取不同尺度的时空特征，从而提高模型的鲁棒性和泛化能力。

技术框架：MFSNN的整体架构包含以下几个主要模块：1) 时空特征提取模块：利用时间卷积网络（TCN）和通道注意力机制从原始神经信号中提取时空特征。TCN能够有效地捕捉时间序列信息，而通道注意力机制则能够突出重要的特征通道。2) 多尺度特征融合模块：通过跳跃连接将不同尺度的特征进行融合，从而获得更丰富的特征表示。3) 脉冲神经网络解码模块：利用SNN对融合后的特征进行解码，得到最终的解码结果。4) 泛化学习模块：通过小批量监督泛化学习，提高模型在跨日信号解码中的泛化能力。

关键创新：MFSNN的关键创新在于将多尺度特征融合的思想引入到脉冲神经网络中，并将其应用于侵入式BCI神经信号解码。与传统的ANN方法相比，MFSNN能够更好地利用神经信号的时空信息，并具有更高的计算效率。此外，MFSNN的泛化学习模块能够有效地提高模型在跨日信号解码中的鲁棒性。

关键设计：在时空特征提取模块中，TCN的卷积核大小和层数需要根据具体的神经信号特点进行调整。通道注意力机制采用SENet结构。在多尺度特征融合模块中，跳跃连接的位置和数量需要仔细设计，以保证不同尺度的特征能够有效地融合。脉冲神经网络采用Leaky Integrate-and-Fire (LIF)神经元模型。泛化学习模块采用小批量梯度下降算法，并使用交叉熵损失函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MFSNN在两个基准侵入式BCI任务（单手抓握和触摸、中心外伸）中均优于传统ANN方法（MLP和GRU）。在准确性方面，MFSNN取得了显著提升；在计算效率方面，MFSNN也展现出优势。此外，MFSNN通过小批量监督泛化学习，显著提高了跨日信号解码的泛化性和鲁棒性。

🎯 应用场景

该研究成果可应用于多种侵入式脑机接口应用场景，如运动功能障碍患者的辅助控制、假肢控制、神经康复等。MFSNN的高效性和节能性使其非常适合在神经形态芯片上实现，从而为在线BCI应用提供更强大的支持。未来，该技术有望进一步提升BCI系统的实用性和可靠性，改善患者的生活质量。

📄 摘要（原文）

Brain-computer interfaces (BCIs) are an advanced fusion of neuroscience and artificial intelligence, requiring stable and long-term decoding of neural signals. Spiking Neural Networks (SNNs), with their neuronal dynamics and spike-based signal processing, are inherently well-suited for this task. This paper presents a novel approach utilizing a Multiscale Fusion enhanced Spiking Neural Network (MFSNN). The MFSNN emulates the parallel processing and multiscale feature fusion seen in human visual perception to enable real-time, efficient, and energy-conserving neural signal decoding. Initially, the MFSNN employs temporal convolutional networks and channel attention mechanisms to extract spatiotemporal features from raw data. It then enhances decoding performance by integrating these features through skip connections. Additionally, the MFSNN improves generalizability and robustness in cross-day signal decoding through mini-batch supervised generalization learning. In two benchmark invasive BCI paradigms, including the single-hand grasp-and-touch and center-and-out reach tasks, the MFSNN surpasses traditional artificial neural network methods, such as MLP and GRU, in both accuracy and computational efficiency. Moreover, the MFSNN's multiscale feature fusion framework is well-suited for the implementation on neuromorphic chips, offering an energy-efficient solution for online decoding of invasive BCI signals.