Benchmarking Neural Decoding Backbones towards Enhanced On-edge iBCI Applications

📄 arXiv: 2406.06626v1 📥 PDF

作者: Zhou Zhou, Guohang He, Zheng Zhang, Luziwei Leng, Qinghai Guo, Jianxing Liao, Xuan Song, Ran Cheng

分类: cs.LG, cs.AI, cs.HC, eess.SP

发布日期: 2024-06-08

💡 一句话要点

针对边缘iBCI应用，评估GRU、Transformer、RWKV和Mamba四种神经解码骨干网络

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 脑机接口 神经解码 边缘计算 RWKV Mamba GRU Transformer 可扩展性

📋 核心要点

  1. 传统iBCI依赖工作站解码，无法满足日常使用需求，边缘设备部署面临计算和速度挑战。
  2. 论文评估GRU、Transformer、RWKV和Mamba四种模型，寻找兼顾性能和速度的神经解码骨干网络。
  3. 实验表明，RWKV和Mamba在推理速度和可扩展性上优于GRU和Transformer，更适合边缘部署。

📝 摘要（中文）

本研究旨在为边缘设备上的侵入式脑机接口(iBCI)应用寻找最优的神经解码骨干网络。传统的iBCI依赖于实验室工作站进行神经解码，限制了其日常使用。将解码过程部署到可穿戴等边缘设备面临计算需求、处理速度和精度保持的挑战。本文评估了门控循环单元(GRU)、Transformer、Receptance Weighted Key Value (RWKV)和选择性状态空间模型(Mamba)四种模型在非人灵长类动物随机抓取任务中的性能，指标包括单会话解码、多会话解码、新会话微调、推理速度、校准速度和可扩展性。结果表明，GRU精度尚可，但RWKV和Mamba在推理和校准速度上更优。RWKV和Mamba符合缩放定律，性能随数据量和模型尺寸增加而提升，而GRU的可扩展性较差，Transformer的计算资源需求过高。该分析为选择适用于边缘部署且能处理不断增长数据量的骨干网络提供了重要见解。

🔬 方法详解

问题定义：传统侵入式脑机接口(iBCI)的神经解码过程通常在实验室工作站上进行，这限制了其在日常生活中的应用。将这些解码过程部署到边缘设备（如可穿戴设备）面临着计算需求高、处理速度慢以及保持解码精度的挑战。因此，需要找到一种既能保证解码精度，又能满足边缘设备计算资源限制的神经解码骨干网络。

核心思路：论文的核心思路是通过实验对比几种有潜力的神经解码模型（GRU、Transformer、RWKV、Mamba）在不同场景下的性能，包括解码精度、推理速度、校准速度和可扩展性。通过综合评估这些指标，找到最适合边缘部署的神经解码骨干网络。这种方法侧重于实证分析，而非理论推导，旨在为实际应用提供指导。

技术框架：整体框架包括以下几个步骤：1) 数据采集：使用非人灵长类动物进行随机抓取任务，并记录神经活动数据。2) 模型选择：选择GRU、Transformer、RWKV和Mamba四种模型作为候选的神经解码骨干网络。3) 实验评估：在单会话解码、多会话解码、新会话微调等场景下，评估模型的解码精度、推理速度、校准速度和可扩展性。4) 结果分析：综合分析实验结果，确定最适合边缘部署的神经解码骨干网络。

关键创新：该研究的关键创新在于对RWKV和Mamba模型在神经解码任务中的适用性进行了评估，并与常用的GRU和Transformer模型进行了对比。以往的研究较少关注RWKV和Mamba在神经解码领域的应用，而这两种模型在推理速度和可扩展性方面具有优势，更适合边缘部署。此外，该研究还关注了模型的校准速度，这对于实际应用中的快速部署至关重要。

关键设计：实验中，使用了非人灵长类动物的神经活动数据，并设计了多种实验场景，包括单会话解码、多会话解码和新会话微调。对于每个模型，都进行了参数调优，以获得最佳的解码性能。在评估推理速度时，使用了标准的benchmark工具，以确保结果的可靠性。在评估可扩展性时，使用了不同大小的数据集和模型，以观察模型的性能变化。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，虽然GRU模型能够提供足够的解码精度，但RWKV和Mamba模型在推理速度和校准速度方面表现更优。RWKV和Mamba模型还表现出良好的可扩展性，随着数据量和模型规模的增加，性能得到提升。相比之下，GRU模型的可扩展性较差，而Transformer模型则需要过高的计算资源。

🎯 应用场景

该研究成果可应用于开发低功耗、高性能的边缘脑机接口设备，例如可穿戴式神经假肢控制系统、实时神经反馈设备等。这些设备能够帮助瘫痪患者恢复运动功能，改善认知障碍患者的生活质量。此外，该研究也为未来神经解码算法的设计和优化提供了重要参考，推动脑机接口技术的进一步发展。

📄 摘要（原文）

Traditional invasive Brain-Computer Interfaces (iBCIs) typically depend on neural decoding processes conducted on workstations within laboratory settings, which prevents their everyday usage. Implementing these decoding processes on edge devices, such as the wearables, introduces considerable challenges related to computational demands, processing speed, and maintaining accuracy. This study seeks to identify an optimal neural decoding backbone that boasts robust performance and swift inference capabilities suitable for edge deployment. We executed a series of neural decoding experiments involving nonhuman primates engaged in random reaching tasks, evaluating four prospective models, Gated Recurrent Unit (GRU), Transformer, Receptance Weighted Key Value (RWKV), and Selective State Space model (Mamba), across several metrics: single-session decoding, multi-session decoding, new session fine-tuning, inference speed, calibration speed, and scalability. The findings indicate that although the GRU model delivers sufficient accuracy, the RWKV and Mamba models are preferable due to their superior inference and calibration speeds. Additionally, RWKV and Mamba comply with the scaling law, demonstrating improved performance with larger data sets and increased model sizes, whereas GRU shows less pronounced scalability, and the Transformer model requires computational resources that scale prohibitively. This paper presents a thorough comparative analysis of the four models in various scenarios. The results are pivotal in pinpointing an optimal backbone that can handle increasing data volumes and is viable for edge implementation. This analysis provides essential insights for ongoing research and practical applications in the field.