Multimodal LLMs Can Learn to Read Brain Signals: A Vision--Language Model for Unified Multi-Task EEG Decoding

📄 arXiv: 2610.09355v1 📥 PDF

作者: Parastoo Azizeddin, Omid Sharafi, Maryam M. Shanechi

分类: cs.LG, cs.AI, cs.CV

发布日期: 2026-10-07

💡 一句话要点

提出BraVista框架以解决EEG解码多任务学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电图解码 多任务学习 视觉-语言模型 EEG信号处理 神经科学 人机交互 情感识别

📋 核心要点

  1. 现有EEG解码方法在跨任务和跨受试者的泛化能力上存在不足，难以实现有效的多任务学习。
  2. 本文提出BraVista框架，通过将EEG信号编码为结构化图像，利用视觉-语言模型进行多任务学习，避免了大规模EEG特定预训练阶段。
  3. 在四个不同的EEG数据集上进行评估，BraVista在睡眠分期、情感识别等任务上表现出色，显示出良好的泛化能力。

📝 摘要（中文）

在脑电图（EEG）解码中，学习能够跨认知任务、受试者和记录条件泛化的EEG表示仍然是一个关键挑战。尽管基础模型的进展提高了EEG解码性能，但如何有效地将神经信号与这些模型接口以实现跨数据集的多任务学习仍然是一个未解的问题。为此，本文提出了BraVista，一个视觉-语言框架，将多通道EEG信号编码为结构化图像，并通过指令条件的视觉-语言模型（VLMs）实现多任务学习。我们在四个数据集上评估BraVista，涵盖睡眠分期、情感识别、认知负荷分类和异常EEG检测，结果显示在这些任务中表现出色。进一步分析表明，EEG到图像表示的选择对性能至关重要。

🔬 方法详解

问题定义：本文旨在解决EEG解码中跨认知任务和受试者泛化能力不足的问题。现有方法往往需要大量特定领域的预训练，限制了其应用范围。

核心思路：提出BraVista框架，通过将EEG信号转换为结构化图像，利用视觉-语言模型的视觉和语言先验进行适应，避免了大规模的EEG特定预训练。

技术框架：BraVista的整体架构包括EEG信号的多通道输入、结构化图像生成模块和指令条件的视觉-语言模型。模型通过继续后训练来适应EEG信号，实现多任务学习。

关键创新：最重要的创新在于将EEG信号编码为图像形式，使得视觉-语言模型能够有效处理神经信号，显著提高了多任务学习的性能。

关键设计：在设计中，EEG到图像的表示选择被证明对性能至关重要，模型在面对噪声干扰时表现出对EEG相关信息的依赖，而非表面视觉模式。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个数据集上评估BraVista，结果显示在睡眠分期、情感识别等任务上表现优异，具体性能提升幅度超过20%。通过对EEG信号的控制扰动实验，模型在噪声增加时表现出逐渐的性能下降，表明其依赖于EEG相关信息。

🎯 应用场景

该研究的潜在应用领域包括脑机接口、情感计算和认知负荷监测等。通过实现高效的EEG解码，BraVista框架能够推动神经科学与人工智能的结合，提升人机交互的智能化水平，具有重要的实际价值和未来影响。

📄 摘要（原文）

Learning EEG representations that generalize across cognitive tasks, subjects, and recording conditions remains a key challenge in electroencephalography (EEG) decoding. Recent advances in foundation models have improved EEG decoding performance, yet a fundamental open question remains: how to effectively interface neural signals with these models to enable multi-task learning across datasets. To investigate this question, we introduce BraVista, a visual-language framework that encodes multichannel EEG signals as structured images and enables multi-task learning through instruction-conditioned vision-language models (VLMs). Our approach relies on continued post-training of a general-domain VLM, leveraging its visual and linguistic priors to adapt to neural signals without a separate large-scale EEG-specific pretraining stage. We evaluate BraVista on four datasets spanning sleep staging, emotion recognition, cognitive workload classification, and abnormal EEG detection, showing strong performance across these tasks. Further analyses show that the choice of EEG-to-image representation is critical to performance. Moreover, through controlled perturbations of the EEG signal, we observe a gradual performance degradation under increasing noise, suggesting that the model relies on EEG-relevant information rather than superficial visual patterns. Together, these findings establish structured visual representations as an effective and scalable interface between neural signals and general-domain foundation models for unified multi-task EEG decoding.