Brain-CLIPLM: Semantic Compression for EEG-to-Text Decoding

📄 arXiv: 2604.16370 📥 PDF

作者: Xiaoli Yang, Huiyuan Tian, Yurui Li, Jianyu Zhang, Shijian Li, Gang Pan

分类: cs.CL, cs.AI, cs.CV

发布日期: 2026-07-20

💡 一句话要点

提出Brain-CLIPLM以解决EEG到文本解码的语义压缩问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电图解码 语义压缩 自然语言处理 对比学习 脑机接口 大型语言模型 信息恢复 句子重建

📋 核心要点

  1. 现有EEG到文本解码方法受限于信噪比低和信息带宽有限，难以可靠恢复句子级语言。
  2. 论文提出Brain-CLIPLM框架，通过语义锚点恢复和锚点引导的句子重建，解决信息恢复的粒度匹配问题。
  3. 在Zurich Cognitive Language Processing基准上，Brain-CLIPLM实现了67.6%的Top-5和85.0%的Top-25句子检索准确率，显著提升了解码效果。

📝 摘要（中文）

从非侵入性脑电图（EEG）解码自然语言面临信噪比低和信息带宽有限的挑战。本文提出语义压缩假设，认为EEG可能保留可恢复的语义锚点，而非完整的句法形式。为此，提出了Brain-CLIPLM框架，将EEG到文本解码分为语义锚点恢复和锚点引导的句子重建两个阶段。第一阶段通过对比学习对齐词级EEG证据与固定关键词词汇，恢复有序的语义锚点；第二阶段利用检索驱动的大型语言模型进行句子意义重建。实验结果表明，Brain-CLIPLM在Zurich Cognitive Language Processing基准上取得了67.6%的Top-5和85.0%的Top-25句子检索准确率，表现最佳于中间锚点粒度。

🔬 方法详解

问题定义：本文旨在解决从EEG信号中可靠解码自然语言的具体问题。现有方法在低信噪比和信息带宽限制下，难以实现句子级语言的直接恢复，导致解码效果不佳。

核心思路：论文提出语义压缩假设，认为EEG信号可能保留的是可恢复的语义锚点，而非完整的句法结构。通过将解码过程分为两个阶段，首先恢复语义锚点，然后基于这些锚点重建句子，来更好地匹配可恢复的信息粒度。

技术框架：Brain-CLIPLM框架分为两个主要阶段：第一阶段使用对比学习对齐词级EEG证据与固定关键词词汇，恢复有序的语义锚点；第二阶段利用检索驱动的大型语言模型，结合链式推理提示，从这些锚点重建句子意义。

关键创新：最重要的创新在于提出了语义锚点的概念，并通过两阶段解码框架有效地解决了EEG信号解码的粒度匹配问题。这一方法与现有的直接句子重建方法本质上不同，能够更好地利用EEG信号中的信息。

关键设计：在第一阶段，采用对比学习损失函数来优化词级EEG证据与关键词的对齐；在第二阶段，设计了基于检索的大型语言模型，结合链式推理提示，以提高句子重建的准确性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Brain-CLIPLM在Zurich Cognitive Language Processing基准上取得了67.6%的Top-5和85.0%的Top-25句子检索准确率，表现优于现有方法，尤其在中间锚点粒度下效果最佳。这表明该方法在EEG信号解码中有效捕捉了句子特定信息。

🎯 应用场景

该研究在脑机接口、神经科学和人机交互等领域具有广泛的应用潜力。通过提高EEG到文本解码的准确性，可以为残疾人士提供更好的沟通工具，推动脑电图技术在医疗和康复中的应用。同时，未来可能促进更复杂的脑机交互系统的发展。

📄 摘要（原文）

Decoding natural language from non-invasive electroencephalography (EEG) remains constrained by low signal-to-noise ratio and limited information bandwidth. This raises a central question: can sentence-level language be reliably recovered from such signals? Under realistic information constraints, this direct-recovery assumption may be too strong. We introduce a semantic compression hypothesis: non-invasive EEG may preserve recoverable semantic anchors rather than the full lexical--syntactic form of a sentence. From this perspective, direct sentence reconstruction is overly fine-grained relative to the recoverable information scale of EEG. To address this mismatch, we propose Brain-CLIPLM, a two-stage framework that decomposes EEG-to-text decoding into semantic-anchor recovery and anchor-guided sentence reconstruction. Stage 1 uses contrastive learning to align word-level EEG evidence with a fixed keyword vocabulary and recover ordered semantic anchors. Stage 2 uses a retrieval-grounded large language model with chain-of-thought reasoning prompts to reconstruct sentence meaning from these anchors, following a granularity matching principle that aligns decoding complexity with the recoverable neural information scale. On the combined Zurich Cognitive Language Processing (ZuCo) benchmark, Brain-CLIPLM achieves 67.6\% Top-5 and 85.0\% Top-25 sentence retrieval accuracy, with the strongest performance at intermediate anchor granularity. Control analyses show that EEG-derived anchors carry sentence-specific information beyond language-model priors. Within the constrained ZuCo sentence pool and fixed keyword-vocabulary settings, these findings suggest that EEG-to-text decoding is better framed as recovering compressed semantic content before anchor-guided sentence reconstruction.