CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information

📄 arXiv: 2412.10489v2 📥 PDF

作者: Kaifan Zhang, Lihuo He, Xin Jiang, Wen Lu, Di Wang, Xinbo Gao

分类: cs.CV, cs.AI, eess.SP

发布日期: 2024-12-13 (更新: 2024-12-24)

🔗 代码/项目: GITHUB

💡 一句话要点

CognitionCapturer：利用多模态信息从人脑EEG信号中解码视觉刺激

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电信号 视觉刺激解码 多模态融合 扩散模型 脑机接口

📋 核心要点

  1. 现有方法仅关注EEG与图像的直接关系，忽略了EEG中蕴含的“超越图像模态”的信息，导致多模态信息的损失。
  2. CognitionCapturer利用多模态数据表示EEG信号，训练模态专家编码器提取跨模态信息，并使用扩散先验将EEG嵌入映射到CLIP空间。
  3. 实验表明，CognitionCapturer在视觉刺激重建方面，定性和定量地超越了现有最佳方法，且无需微调生成模型。

📝 摘要（中文）

脑电图(EEG)信号因其非侵入性和解码视觉刺激的高时间敏感性而备受研究人员关注。然而，最近的研究大多只关注脑电图和图像数据对之间的关系，忽略了脑电信号中嵌入的宝贵的“超越图像模态”的信息，导致脑电图中关键的多模态信息丢失。为了解决这个局限性，我们提出了CognitionCapturer，一个统一的框架，充分利用多模态数据来表示脑电信号。具体来说，CognitionCapturer为每个模态训练模态专家编码器，以从脑电模态中提取跨模态信息。然后，引入扩散先验将脑电嵌入空间映射到CLIP嵌入空间，然后使用预训练的生成模型，该框架可以重建具有高语义和结构保真度的视觉刺激。值得注意的是，该框架不需要对生成模型进行任何微调，并且可以扩展以包含更多模态。通过大量的实验，我们证明了CognitionCapturer在定性和定量方面都优于最先进的方法。

🔬 方法详解

问题定义：现有基于脑电信号解码视觉刺激的方法，主要关注脑电信号与图像数据对之间的关系，忽略了脑电信号中蕴含的丰富的多模态信息，例如与图像相关的文本描述、音频信息等。这种忽略导致了脑电信号中关键信息的丢失，限制了解码的准确性和完整性。

核心思路：CognitionCapturer的核心思路是充分利用多模态信息来表示脑电信号，从而更全面地理解脑电活动与视觉刺激之间的关系。通过引入模态专家编码器，从脑电信号中提取跨模态信息，并利用扩散先验将脑电嵌入空间映射到CLIP嵌入空间，从而实现更准确的视觉刺激重建。

技术框架：CognitionCapturer框架包含以下几个主要模块：1) 模态专家编码器：为每个模态（例如图像、文本、音频）训练一个专家编码器，用于从脑电信号中提取与该模态相关的特征。2) 扩散先验映射：利用扩散模型学习脑电嵌入空间到CLIP嵌入空间的映射关系，从而将脑电信号转换为更易于理解和处理的表示。3) 预训练生成模型：使用预训练的生成模型（例如Stable Diffusion）从CLIP嵌入空间重建视觉刺激。整个流程无需对生成模型进行微调。

关键创新：CognitionCapturer的关键创新在于其多模态信息融合策略和扩散先验映射方法。与以往只关注图像模态的方法不同，CognitionCapturer充分利用了脑电信号中蕴含的多模态信息，从而更全面地理解脑电活动。扩散先验映射方法则有效地将脑电嵌入空间与CLIP嵌入空间对齐，使得可以使用预训练的生成模型进行视觉刺激重建。

关键设计：模态专家编码器可以使用各种神经网络结构，例如卷积神经网络（CNN）或Transformer。扩散先验映射可以使用扩散模型或变分自编码器（VAE）。损失函数可以包括重建损失、对比学习损失等。框架的关键在于如何有效地训练模态专家编码器，并学习脑电嵌入空间到CLIP嵌入空间的映射关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CognitionCapturer在视觉刺激重建任务中取得了显著的性能提升。实验结果表明，该方法在定性和定量方面均优于现有最佳方法。具体而言，CognitionCapturer能够重建出具有更高语义和结构保真度的视觉刺激，并且无需对生成模型进行任何微调。代码已开源。

🎯 应用场景

CognitionCapturer在脑机接口、神经科学研究、医疗诊断等领域具有广泛的应用前景。例如，可以用于帮助瘫痪患者通过脑电信号控制外部设备，或者用于研究人类认知过程和精神疾病的神经机制。该研究还有助于开发更智能、更人性化的AI系统，能够更好地理解和响应人类的需求。

📄 摘要（原文）

Electroencephalogram (EEG) signals have attracted significant attention from researchers due to their non-invasive nature and high temporal sensitivity in decoding visual stimuli. However, most recent studies have focused solely on the relationship between EEG and image data pairs, neglecting the valuable ``beyond-image-modality" information embedded in EEG signals. This results in the loss of critical multimodal information in EEG. To address this limitation, we propose CognitionCapturer, a unified framework that fully leverages multimodal data to represent EEG signals. Specifically, CognitionCapturer trains Modality Expert Encoders for each modality to extract cross-modal information from the EEG modality. Then, it introduces a diffusion prior to map the EEG embedding space to the CLIP embedding space, followed by using a pretrained generative model, the proposed framework can reconstruct visual stimuli with high semantic and structural fidelity. Notably, the framework does not require any fine-tuning of the generative models and can be extended to incorporate more modalities. Through extensive experiments, we demonstrate that CognitionCapturer outperforms state-of-the-art methods both qualitatively and quantitatively. Code: https://github.com/XiaoZhangYES/CognitionCapturer.