Motor Imagery Teleoperation of a Mobile Robot Using a Low-Cost Brain-Computer Interface for Multi-Day Validation

📄 arXiv: 2412.08971v1 📥 PDF

作者: Yujin An, Daniel Mitchell, John Lathrop, David Flynn, Soon-Jo Chung

分类: cs.RO

发布日期: 2024-12-12

备注: IEEE Telepresence 2024

💡 一句话要点

提出基于低成本脑机接口和深度神经网络的运动想象遥操作移动机器人方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 脑机接口 运动想象 深度神经网络 机器人遥操作 低成本脑电图

📋 核心要点

  1. 现有运动想象脑机接口依赖昂贵设备和大量训练数据，导致用户疲劳，限制了BCI技术的实际应用。
  2. 本文提出一种基于微调深度神经网络的运动想象BCI控制方法，减少训练数据需求，降低用户疲劳。
  3. 实验结果表明，该系统使用低成本脑电图设备，在多日验证中保持了较高的控制精度，提升了BCI实用性。

📝 摘要（中文）

脑机接口(BCI)有潜力在假肢、辅助技术(轮椅)、机器人和人机交互方面提供变革性的控制。运动想象(MI)为BCI控制提供了一种直观的方法，但其实际应用通常受到昂贵设备、大量训练数据和复杂算法的限制，导致用户疲劳和可访问性降低。本文证明，通过使用带有滑动窗口的微调深度神经网络(DNN)，可以在真实环境中实现对移动机器人的有效MI-BCI控制，无需复杂的特征提取即可实现实时机器人控制。微调过程优化了DNN的卷积层和注意力层，以适应每个用户每天的MI数据流，减少了70%的训练数据，并最大限度地减少了用户因长时间数据收集而产生的疲劳。使用低成本（约3000美元）、16通道、非侵入式、开源脑电图(EEG)设备，四名用户在三天内遥操作了一个四足机器人。该系统在单日验证数据集上实现了78%的准确率，并在三天内保持了75%的验证准确率，而无需每天进行大量重新训练。对于真实世界的机器人命令分类，我们平均实现了62%的准确率。通过提供经验证据表明，MI-BCI系统可以通过减少DNN的训练数据和使用低成本的EEG设备来维持多天的性能，我们的工作提高了BCI技术的实用性和可访问性。这一进步使BCI应用在现实场景中，特别是在控制机器人系统方面，更具可行性。

🔬 方法详解

问题定义：论文旨在解决运动想象(MI)脑机接口(BCI)在实际机器人控制应用中面临的挑战，即现有方法依赖于昂贵的设备、需要大量的训练数据以及复杂的算法，导致用户容易疲劳，并且BCI系统的可访问性较低。现有方法的痛点在于难以在真实场景中实现稳定、高效且用户友好的机器人控制。

核心思路：论文的核心思路是利用微调的深度神经网络(DNN)直接从脑电信号中提取特征并进行分类，从而简化特征提取过程，减少训练数据需求，并降低系统对昂贵硬件的依赖。通过优化DNN的卷积层和注意力层，使模型能够更好地适应每个用户的个性化脑电信号模式，从而提高控制精度和用户体验。

技术框架：整体框架包括以下几个主要阶段：1) 使用低成本的脑电图(EEG)设备采集用户的运动想象脑电信号；2) 对采集到的脑电信号进行预处理，例如滤波和降噪；3) 使用带有滑动窗口的DNN模型对预处理后的脑电信号进行分类，识别用户的运动意图；4) 将识别出的运动意图转化为机器人控制指令，实现对机器人的遥操作。该框架采用端到端的学习方式，无需手动设计复杂的特征提取器。

关键创新：最重要的技术创新点在于使用微调的DNN直接从脑电信号中学习特征，并进行运动意图分类。与传统方法相比，该方法避免了手动设计特征提取器的复杂性，并且能够更好地适应用户的个性化脑电信号模式。此外，通过微调DNN的卷积层和注意力层，可以显著减少训练数据需求，降低用户疲劳。

关键设计：论文的关键设计包括：1) 使用滑动窗口对脑电信号进行分段，以捕捉时间序列信息；2) 设计包含卷积层和注意力层的DNN模型，用于提取脑电信号的特征；3) 使用微调策略，针对每个用户的数据对DNN模型进行个性化优化；4) 采用交叉熵损失函数训练DNN模型，并使用Adam优化器进行优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该系统使用低成本（约3000美元）的16通道脑电图设备，在单日验证数据集上实现了78%的准确率，并在三天内保持了75%的验证准确率，无需每天进行大量重新训练。对于真实世界的机器人命令分类，平均实现了62%的准确率。与需要昂贵设备和大量训练数据的传统方法相比，该研究显著降低了BCI系统的成本和复杂性。

🎯 应用场景

该研究成果可应用于多种场景，包括：辅助技术（如轮椅控制）、康复机器人、危险环境下的机器人遥操作、以及人机交互等领域。通过降低BCI系统的成本和复杂性，并提高其易用性和可靠性，该研究为BCI技术在实际生活中的广泛应用奠定了基础，有望改善残疾人士的生活质量，并提高工作效率。

📄 摘要（原文）

Brain-computer interfaces (BCI) have the potential to provide transformative control in prosthetics, assistive technologies (wheelchairs), robotics, and human-computer interfaces. While Motor Imagery (MI) offers an intuitive approach to BCI control, its practical implementation is often limited by the requirement for expensive devices, extensive training data, and complex algorithms, leading to user fatigue and reduced accessibility. In this paper, we demonstrate that effective MI-BCI control of a mobile robot in real-world settings can be achieved using a fine-tuned Deep Neural Network (DNN) with a sliding window, eliminating the need for complex feature extractions for real-time robot control. The fine-tuning process optimizes the convolutional and attention layers of the DNN to adapt to each user's daily MI data streams, reducing training data by 70% and minimizing user fatigue from extended data collection. Using a low-cost (~$3k), 16-channel, non-invasive, open-source electroencephalogram (EEG) device, four users teleoperated a quadruped robot over three days. The system achieved 78% accuracy on a single-day validation dataset and maintained a 75% validation accuracy over three days without extensive retraining from day-to-day. For real-world robot command classification, we achieved an average of 62% accuracy. By providing empirical evidence that MI-BCI systems can maintain performance over multiple days with reduced training data to DNN and a low-cost EEG device, our work enhances the practicality and accessibility of BCI technology. This advancement makes BCI applications more feasible for real-world scenarios, particularly in controlling robotic systems.