sEEG-based Encoding for Sentence Retrieval: A Contrastive Learning Approach to Brain-Language Alignment

📄 arXiv: 2504.14468v1 📥 PDF

作者: Yijun Liu

分类: cs.CL, cs.LG, eess.SP, q-bio.NC

发布日期: 2025-04-20

备注: Accepted for poster presentation at the CVPR 2025 Workshop on Multimodal Foundation Models (MMFM3)

💡 一句话要点

SSENSE：基于sEEG的对比学习框架，实现脑活动与自然语言的对齐和句子检索

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电信号 句子检索 对比学习 脑机接口 CLIP模型

📋 核心要点

  1. 现有方法难以有效利用多模态基础模型对侵入式脑记录与自然语言进行对齐，存在信息利用不足的问题。
  2. SSENSE框架通过对比学习，将sEEG信号编码到CLIP模型的句子嵌入空间，实现脑活动到句子的直接映射。
  3. 实验结果表明，即使在数据量有限的情况下，SSENSE也能有效利用通用语言表示作为神经解码的先验知识。

📝 摘要（中文）

本文提出了一种名为SSENSE的对比学习框架，旨在将单被试的立体脑电图（sEEG）信号投影到冻结的CLIP模型的句子嵌入空间中，从而实现直接从脑活动中进行句子级别的检索。SSENSE通过InfoNCE损失，在sEEG的频谱表示上训练一个神经编码器，而无需微调文本编码器。该方法在一个自然电影观看数据集的时间对齐的sEEG和口语文本记录上进行了评估。尽管数据有限，SSENSE取得了有希望的结果，表明通用语言表示可以作为神经解码的有效先验。

🔬 方法详解

问题定义：论文旨在解决如何将侵入式脑电信号（sEEG）与自然语言进行有效对齐的问题，从而实现从脑活动中直接检索对应句子的能力。现有方法通常需要大量数据进行训练，且难以有效利用预训练的语言模型的知识，泛化能力有限。

核心思路：论文的核心思路是利用对比学习，将sEEG信号编码到预训练的CLIP模型的句子嵌入空间中。CLIP模型已经学习了丰富的视觉和语言知识，将其作为先验知识，可以有效减少对sEEG数据的依赖，并提高模型的泛化能力。通过对比学习，模型学习将对应的sEEG信号和句子嵌入拉近，而不对应的信号和嵌入推远。

技术框架：SSENSE框架包含两个主要模块：sEEG编码器和冻结的CLIP文本编码器。首先，对sEEG信号进行预处理，提取频谱特征。然后，sEEG编码器将频谱特征映射到句子嵌入空间。CLIP文本编码器负责将句子转换为句子嵌入。最后，使用InfoNCE损失函数训练sEEG编码器，使其输出的嵌入与对应的句子嵌入尽可能接近。

关键创新：该论文的关键创新在于利用对比学习框架，将sEEG信号编码到预训练的CLIP模型的句子嵌入空间中，从而实现了脑活动与自然语言的有效对齐。这种方法充分利用了预训练模型的知识，减少了对sEEG数据的依赖，并提高了模型的泛化能力。此外，该方法无需微调CLIP文本编码器，降低了计算成本。

关键设计：sEEG编码器采用神经网络结构，具体结构未知。InfoNCE损失函数用于对比学习，其目的是最大化正样本对（对应的sEEG信号和句子）的相似度，同时最小化负样本对（不对应的sEEG信号和句子）的相似度。具体的参数设置未知。

🖼️ 关键图片

fig_0

📊 实验亮点

SSENSE在自然电影观看数据集上取得了有希望的结果，证明了通用语言表示可以作为神经解码的有效先验。尽管数据量有限，SSENSE成功地将sEEG信号编码到CLIP模型的句子嵌入空间，实现了从脑活动中进行句子级别的检索。具体的性能数据未知，但结果表明该方法具有良好的潜力。

🎯 应用场景

该研究成果可应用于脑机接口（BCI）领域，实现通过脑电信号直接进行文本检索或生成。例如，可以帮助失语症患者通过脑电活动表达意图，或用于开发新型的脑控设备。此外，该研究也有助于深入理解大脑的语言处理机制。

📄 摘要（原文）

Interpreting neural activity through meaningful latent representations remains a complex and evolving challenge at the intersection of neuroscience and artificial intelligence. We investigate the potential of multimodal foundation models to align invasive brain recordings with natural language. We present SSENSE, a contrastive learning framework that projects single-subject stereo-electroencephalography (sEEG) signals into the sentence embedding space of a frozen CLIP model, enabling sentence-level retrieval directly from brain activity. SSENSE trains a neural encoder on spectral representations of sEEG using InfoNCE loss, without fine-tuning the text encoder. We evaluate our method on time-aligned sEEG and spoken transcripts from a naturalistic movie-watching dataset. Despite limited data, SSENSE achieves promising results, demonstrating that general-purpose language representations can serve as effective priors for neural decoding.