SCRIBE: Scalable Contextual Representations of Interpretable Brain-Grounded Semantics

📄 arXiv: 2610.21518v1 📥 PDF

作者: Camila Kolling, Omer Moussa, Emin Çelik, Mariya Toneva

分类: cs.AI, cs.CL

发布日期: 2026-10-15

💡 一句话要点

提出SCRIBE框架以研究人脑对语言语义的理解

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语义理解 神经科学 语言模型 上下文分析 可解释性

📋 核心要点

  1. 现有方法难以有效捕捉人类在不同上下文中对语言语义的理解变化。
  2. SCRIBE框架结合神经科学知识，利用大型语言模型生成可解释的语义表示，旨在更好地理解语言语义。
  3. 实验结果表明，SCRIBE在预测大脑神经反应方面显著优于传统的非上下文语义表示，达到了75-81%的人类噪声上限。

📝 摘要（中文）

理解人脑如何从现实语言中构建意义是一个基本挑战，因为语义依赖于自然环境中变化的上下文。为此，本文提出SCRIBE框架，基于神经科学的语义空间，利用开源的大型语言模型生成可解释的单词级语义表示。在一项包含921名参与者的行为研究中，我们发现人类的语义特征判断随着上下文的变化而系统性变化，SCRIBE能够捕捉这些变化，达到75-81%的估计人类噪声上限。通过记录参与者在听自然故事时的大脑活动，我们进一步证明SCRIBE能够预测语言选择性脑区的神经反应，显著优于非上下文语义表示。这些发现确立了SCRIBE作为研究人脑自然语言语义的可扩展和可解释的基础。

🔬 方法详解

问题定义：本研究旨在解决如何有效捕捉人类在不同上下文中对语言语义理解的变化。现有方法往往无法考虑上下文的影响，导致语义表示的局限性。

核心思路：SCRIBE框架的核心思路是基于神经科学的语义空间，利用开源的大型语言模型生成可解释的单词级语义表示，从而更好地反映人类的语义理解过程。

技术框架：SCRIBE的整体架构包括多个模块，首先通过大型语言模型生成文本的语义表示，然后结合上下文信息进行调整，最后通过神经网络模型预测大脑的神经反应。

关键创新：SCRIBE的主要创新在于其能够捕捉上下文变化对语义理解的影响，超越了传统的非上下文语义表示，提供了更为精准的语义预测能力。

关键设计：在技术细节上，SCRIBE采用了特定的损失函数来优化语义表示的可解释性，并通过多层神经网络结构来增强对上下文的敏感性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SCRIBE在预测语言选择性脑区的神经反应时，显著优于传统的非上下文语义表示，达到了75-81%的人类噪声上限，表明其在捕捉语义变化方面的有效性和准确性。

🎯 应用场景

SCRIBE框架的潜在应用领域包括语言理解、心理语言学研究以及人机交互等。通过深入理解人脑如何处理语言语义，SCRIBE可以为自然语言处理技术的发展提供新的视角，推动智能系统的语义理解能力提升。

📄 摘要（原文）

Understanding how the human brain constructs meaning from real-world language remains a fundamental challenge, as semantics depend on context that varies in natural settings. To enable the study of real-world linguistic meaning in the brain, we introduce SCRIBE, a framework grounded in a neuroscience-informed semantic space that leverages an ensemble of open-source large language models to generate interpretable, word-level semantic representations of arbitrary text. In a behavioral study with 921 participants, we show that human semantic feature judgments vary systematically with context, and that SCRIBE captures these shifts, reaching 75-81% of the estimated human noise ceiling. Using brain activity recorded while participants listen to naturalistic stories, we further demonstrate that SCRIBE predicts neural responses in language-selective brain regions, significantly outperforming non-contextual semantic representations. Variance partitioning reveals that SCRIBE explains unique brain-predictive information beyond syntactic features, suggesting that its representations capture aspects of linguistic meaning not accounted for by the measured syntactic features. Together, these findings establish SCRIBE as a scalable and interpretable foundation for studying natural language semantics in the brain.