Deep LLM layers expose passage-level context in EEG during silent reading

📄 arXiv: 2610.23638v1 📥 PDF

作者: Ingo Marquardt, Anthilia Alchanat, Priyanka Jain

分类: cs.LG, q-bio.NC

发布日期: 2026-10-16

备注: 41 pages (including 23 pages of Supplementary Material), 12 figures (including 5 in Supplementary Material)

💡 一句话要点

提出深度LLM层以揭示静默阅读中的EEG段落级上下文

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: EEG信号解码 语言模型 上下文跟踪 静默阅读 脑机接口 认知神经科学 深度学习

📋 核心要点

  1. 现有方法在静默阅读中难以有效提取EEG信号的段落级上下文信息，限制了对语言理解的深入分析。
  2. 本文提出通过训练每层的解码器，探索EEG信号与LLM层之间的关系，从而揭示不同层次的语言信息。
  3. 实验结果显示，单词级可解码性在早期层最高，而上下文跟踪能力在深层增强，表明EEG窗口能携带段落级信息。

📝 摘要（中文）

在之前的研究中，我们展示了如何通过对齐短时EEG窗口与大型语言模型(LLM)的隐藏状态嵌入，从19通道EEG中恢复开放词汇的单词级信息。本文探讨EEG可解码结构在LLM的全层分布，训练了每层的解码器，发现单词级可解码性在早期层达到峰值，而上下文跟踪能力随着层数加深而增强。意外的是，解码器在处理单个0.5秒窗口时也能跟踪文本段落。通过新控制实验，确认上下文跟踪主要是文本驱动的，而非EEG会话特征的结果。研究结果为EEG语言解码器的目标层选择提供了设计依据。

🔬 方法详解

问题定义：本文旨在解决如何从EEG信号中有效提取段落级上下文信息的问题。现有方法主要集中在单词级解码，未能深入探讨上下文信息的提取。

核心思路：通过训练每层的解码器，分析EEG信号与LLM的不同层之间的关系，揭示各层次信息的分布特征。这样的设计可以更全面地理解EEG信号中包含的语言信息。

技术框架：研究采用Llama-3.1-8B模型，针对每一层训练解码器，比较有无因果变换器的影响。主要模块包括EEG信号的预处理、解码器的训练和上下文跟踪的分析。

关键创新：最重要的创新在于揭示了EEG信号的单词级可解码性与上下文跟踪能力在不同层次的分布特征，提供了EEG语言解码器设计的新思路。

关键设计：在解码器训练中，采用了目标几何控制和预测的置换控制，以确保上下文跟踪不是由EEG会话特征引起的，确保了实验结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，单词级可解码性在早期层达到峰值，而上下文跟踪能力在深层逐渐增强。通过新控制实验，确认上下文跟踪主要是由文本驱动的，而非EEG会话特征的结果。这一发现为EEG语言解码器的设计提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括脑机接口、认知神经科学和语言处理等。通过更好地理解EEG信号与语言模型的关系，可以推动相关技术的发展，提升人机交互的自然性和效率，未来可能在教育、医疗等领域产生深远影响。

📄 摘要（原文）

In a previous report we showed that a decoder can recover open-vocabulary word-level information from 19-channel EEG recorded during silent reading, by aligning short EEG windows with hidden-state embeddings of the presented word taken from a large language model (LLM). That analysis contrasted two of the model's 33 layers: the context-free input embedding and one mid-depth layer. Here we ask how EEG-decodable structure is distributed over the full depth of the language model. We trained one decoder per layer of Llama-3.1-8B, with and without a causal transformer over the sequence of EEG windows. We distinguish word-level decodability from a context-tracking component. Word-level decodability peaks in early layers and declines steadily towards the last layer. In contrast, the context-tracking component of the retrieval gain rises with depth, both with and without a causal transformer. Unexpectedly, a decoder that sees a single 0.5-s window at a time tracks the text passage too. Two new controls dissect this component. A target-geometry control, a synthetic predictor made of the true target plus noise calibrated to each decoder's word-level accuracy, shows that context tracking is not a by-product of word decoding and target geometry. A control that permutes predictions across runs from either the same or from different sessions shows that most of the observed context-tracking is not caused by an EEG recording session signature. Instead, context tracking mostly follows the text. A single EEG window therefore carries passage-level information that a contextual target can absorb. The results locate word identity in the early layers of the language model, discourse state in the deeper layers, and make the choice of target layer a design dial for EEG language decoders.