ChatBCI: A P300 Speller BCI Leveraging Large Language Models for Improved Sentence Composition in Realistic Scenarios

📄 arXiv: 2411.15395v1 📥 PDF

作者: Jiazhen Hong, Weinan Wang, Laleh Najafizadeh

分类: cs.HC, cs.AI, cs.CL, eess.SP, eess.SY

发布日期: 2024-11-23

💡 一句话要点

ChatBCI：利用大语言模型改进P300拼写器在真实场景下的语句生成

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑机接口 P300拼写器 大型语言模型 GPT-3.5 零样本学习 辅助沟通 人机交互

📋 核心要点

  1. 传统P300拼写器需要用户逐字母拼写，导致击键次数多，增加用户的时间消耗和认知负担。
  2. ChatBCI利用大型语言模型的零样本学习能力，根据用户输入的少量字母预测单词，减少击键次数。
  3. 实验结果表明，ChatBCI显著减少了击键次数和时间，提高了信息传输速率，尤其是在即兴创作句子时。

📝 摘要（中文）

P300拼写器脑机接口(BCI)允许用户通过检测视觉刺激后脑电信号中的P300成分，在图形用户界面(GUI)上选择目标键来组成句子。大多数P300拼写器BCI需要用户逐字母或前几个字母拼写单词，导致高击键需求，从而增加时间、认知负荷和疲劳。这突显了对更高效、用户友好的方法的需求，以加速句子组成。本文介绍了一种ChatBCI，它利用大型语言模型(LLM)的零样本学习能力，从用户拼写的首字母建议单词或预测后续单词，从而减少击键并加速句子组成。ChatBCI通过远程查询GPT-3.5 API来检索单词建议。设计了一个新的GUI，将GPT-3.5单词建议显示为额外的键。SWLDA用于P300分类。七名受试者完成了两项在线拼写任务：1)使用ChatBCI复制拼写一个自组成的句子，2)使用ChatBCI的单词建议即兴创作一个句子。结果表明，在任务1中，ChatBCI平均优于逐字母BCI拼写器，分别减少了62.14%的时间和53.22%的击键，并将信息传输速率提高了198.96%。在任务2中，ChatBCI实现了80.68%的击键节省，打字速度达到了创纪录的8.53个字符/分钟。总的来说，ChatBCI通过采用远程LLM查询，增强了真实场景中的句子组成，显著优于传统拼写器，而无需本地模型训练或存储。ChatBCI的(多)词预测，结合其新的GUI，为开发下一代拼写器BCI铺平了道路，这些BCI对于实时通信是高效和有效的，特别是对于有沟通和运动障碍的用户。

🔬 方法详解

问题定义：论文旨在解决传统P300拼写器中用户需要逐字母输入，导致击键次数过多、效率低下的问题。现有方法的痛点在于用户需要付出大量的认知努力和时间来完成句子输入，这对于有沟通障碍或运动障碍的用户来说尤其困难。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大预测能力，根据用户已经输入的字母或单词，预测接下来可能出现的单词，从而减少用户的击键次数，提高输入效率。这种方法的核心在于将LLM的语言理解能力与BCI系统相结合。

技术框架：ChatBCI的整体架构包含以下几个主要模块：1) P300信号采集与处理：使用脑电帽采集用户的脑电信号，并提取P300成分。2) P300分类：使用SWLDA算法对P300信号进行分类，判断用户选择的字母或单词。3) LLM查询：将用户选择的字母或单词发送到GPT-3.5 API进行远程查询，获取单词建议。4) GUI显示：将GPT-3.5的单词建议显示在新的GUI上，作为额外的选项供用户选择。5) 句子生成：用户通过选择GUI上的字母或单词，逐步生成完整的句子。

关键创新：最重要的技术创新点在于将大型语言模型（GPT-3.5）的零样本学习能力应用于P300拼写器。与传统的P300拼写器相比，ChatBCI无需针对特定用户或任务进行本地模型训练，而是直接利用GPT-3.5的通用语言知识进行单词预测，从而大大简化了系统部署和维护的难度。此外，新的GUI设计也使得用户可以更方便地选择LLM提供的单词建议。

关键设计：ChatBCI的关键设计包括：1) 使用GPT-3.5 API进行远程查询，获取单词建议。2) 设计新的GUI，将GPT-3.5的单词建议显示为额外的键，方便用户选择。3) 使用SWLDA算法进行P300分类，该算法具有计算效率高、易于实现的优点。论文中没有明确提及具体的参数设置或损失函数，这部分信息未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ChatBCI在两项在线拼写任务中表现出色。在复制拼写任务中，与传统逐字母拼写器相比，ChatBCI减少了62.14%的时间和53.22%的击键，信息传输速率提高了198.96%。在即兴创作任务中，ChatBCI实现了80.68%的击键节省，打字速度达到了创纪录的8.53个字符/分钟。这些结果表明，ChatBCI能够显著提高P300拼写器的效率和用户体验。

🎯 应用场景

ChatBCI具有广泛的应用前景，尤其是在辅助沟通领域。它可以帮助患有运动障碍或沟通障碍的人士更高效地进行交流，提高他们的生活质量。此外，ChatBCI还可以应用于虚拟现实、游戏等领域，为用户提供更自然、更便捷的交互方式。未来，ChatBCI有望成为人机交互的重要组成部分。

📄 摘要（原文）

P300 speller BCIs allow users to compose sentences by selecting target keys on a GUI through the detection of P300 component in their EEG signals following visual stimuli. Most P300 speller BCIs require users to spell words letter by letter, or the first few initial letters, resulting in high keystroke demands that increase time, cognitive load, and fatigue. This highlights the need for more efficient, user-friendly methods for faster sentence composition. In this work, we introduce ChatBCI, a P300 speller BCI that leverages the zero-shot learning capabilities of large language models (LLMs) to suggest words from user-spelled initial letters or predict the subsequent word(s), reducing keystrokes and accelerating sentence composition. ChatBCI retrieves word suggestions through remote queries to the GPT-3.5 API. A new GUI, displaying GPT-3.5 word suggestions as extra keys is designed. SWLDA is used for the P300 classification. Seven subjects completed two online spelling tasks: 1) copy-spelling a self-composed sentence using ChatBCI, and 2) improvising a sentence using ChatBCI's word suggestions. Results demonstrate that in Task 1, on average, ChatBCI outperforms letter-by-letter BCI spellers, reducing time and keystrokes by 62.14% and 53.22%, respectively, and increasing information transfer rate by 198.96%. In Task 2, ChatBCI achieves 80.68% keystroke savings and a record 8.53 characters/min for typing speed. Overall, ChatBCI, by employing remote LLM queries, enhances sentence composition in realistic scenarios, significantly outperforming traditional spellers without requiring local model training or storage. ChatBCI's (multi-) word predictions, combined with its new GUI, pave the way for developing next-generation speller BCIs that are efficient and effective for real-time communication, especially for users with communication and motor disabilities.