Thought2Text: Text Generation from EEG Signal using Large Language Models (LLMs)

📄 arXiv: 2410.07507v2 📥 PDF

作者: Abhijit Mishra, Shreya Shukla, Jose Torres, Jacek Gwizdka, Shounak Roychowdhury

分类: cs.CL

发布日期: 2024-10-10 (更新: 2025-02-10)

备注: Accepted to Findings of NAACL 2025

DOI: 10.18653/v1/2025.findings-naacl.207

💡 一句话要点

Thought2Text：利用大语言模型从脑电信号生成文本，实现“意念转文字”

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电信号 文本生成 大语言模型 多模态学习 意念转文字

📋 核心要点

  1. 现有方法难以有效解码大脑活动并将其转化为可理解的文本，这是一个具有挑战性的AI前沿问题。
  2. Thought2Text的核心思想是利用预训练的大语言模型，通过多阶段微调，使其能够理解和生成与脑电信号相关的文本。
  3. 实验结果表明，该方法在公开脑电数据集上取得了良好的效果，验证了多模态LLMs在“意念转文字”任务中的潜力。

📝 摘要（中文）

本文提出Thought2Text，旨在利用指令微调的大语言模型（LLMs）和脑电（EEG）数据，将大脑活动解码并转化为可理解的文本。该方法包含三个阶段：（1）训练一个用于视觉特征提取的脑电编码器；（2）在图像和文本数据上微调LLMs，使其具备多模态描述生成能力；（3）进一步在脑电嵌入上进行微调，从而在推理阶段直接从脑电信号生成文本。在公开的脑电数据集上，针对六名受试者，使用图像刺激和文本描述进行了实验，验证了多模态LLMs（LLaMA-v3、Mistral-v0.3、Qwen2.5）的有效性，并使用传统的语言生成评估指标以及流畅性和充分性指标进行了验证。该方法标志着在便携式、低成本的“意念转文字”技术方面取得了显著进展，具有神经科学和自然语言处理领域的潜在应用。

🔬 方法详解

问题定义：论文旨在解决如何将脑电信号（EEG）转化为自然语言文本的问题，即“意念转文字”。现有方法通常依赖于复杂的特征工程或浅层模型，难以捕捉脑电信号与文本之间复杂的语义关系，且泛化能力有限。

核心思路：论文的核心思路是利用预训练的大语言模型（LLMs）强大的语言建模能力和知识，通过多阶段微调，使其能够理解脑电信号并生成相应的文本描述。这种方法避免了从头训练模型，并能够利用LLMs的先验知识，提高生成文本的质量和流畅性。

技术框架：Thought2Text的整体框架包含三个主要阶段：（1）脑电编码器训练：训练一个脑电编码器，将脑电信号映射到视觉特征空间。这个阶段的目标是学习一个能够提取与视觉刺激相关的脑电特征的编码器。（2）多模态LLM微调：在图像和文本数据上微调LLMs，使其具备多模态描述生成能力。这个阶段的目标是让LLMs学习如何根据图像生成文本描述。（3）脑电嵌入微调：进一步在脑电嵌入上进行微调，从而在推理阶段直接从脑电信号生成文本。这个阶段的目标是让LLMs学习如何根据脑电信号生成文本描述。

关键创新：该方法最重要的技术创新点在于利用预训练的大语言模型作为“意念转文字”的核心组件。与传统方法相比，这种方法能够更好地利用LLMs的先验知识和强大的语言建模能力，从而提高生成文本的质量和流畅性。此外，多阶段微调策略也能够有效地将脑电信号与文本联系起来。

关键设计：论文使用了公开的脑电数据集，该数据集包含六名受试者的脑电信号，以及对应的图像刺激和文本描述。论文使用了三种不同的LLMs（LLaMA-v3、Mistral-v0.3、Qwen2.5）进行实验。在训练过程中，使用了交叉熵损失函数来优化模型。具体的网络结构和参数设置在论文中有详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Thought2Text方法在公开脑电数据集上取得了良好的效果。通过使用多模态LLMs（LLaMA-v3、Mistral-v0.3、Qwen2.5），该方法能够生成与脑电信号相关的文本描述，并使用传统的语言生成评估指标以及流畅性和充分性指标进行了验证。具体的性能数据和提升幅度在论文中有详细描述（未知）。

🎯 应用场景

Thought2Text技术具有广泛的应用前景，包括辅助沟通、人机交互、神经科学研究等。例如，它可以帮助失语症患者或瘫痪人士通过“意念”表达自己的想法，实现更自然、便捷的人机交互。此外，该技术还可以用于研究大脑活动与语言之间的关系，为神经科学研究提供新的工具和视角。

📄 摘要（原文）

Decoding and expressing brain activity in a comprehensible form is a challenging frontier in AI. This paper presents Thought2Text, which uses instruction-tuned Large Language Models (LLMs) fine-tuned with EEG data to achieve this goal. The approach involves three stages: (1) training an EEG encoder for visual feature extraction, (2) fine-tuning LLMs on image and text data, enabling multimodal description generation, and (3) further fine-tuning on EEG embeddings to generate text directly from EEG during inference. Experiments on a public EEG dataset collected for six subjects with image stimuli and text captions demonstrate the efficacy of multimodal LLMs (LLaMA-v3, Mistral-v0.3, Qwen2.5), validated using traditional language generation evaluation metrics, as well as fluency and adequacy measures. This approach marks a significant advancement towards portable, low-cost "thoughts-to-text" technology with potential applications in both neuroscience and natural language processing.