Decomposing Brain-LLM Alignment with Interpretable Semantic Representations

📄 arXiv: 2610.21508v1 📥 PDF

作者: Camila Kolling, Mariya Toneva

分类: cs.AI, cs.CL

发布日期: 2026-10-15

💡 一句话要点

利用可解释语义表示分解大脑与LLM的对齐

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大脑与LLM对齐 可解释性 语义表示 fMRI分析 自然语言理解 神经认知科学 方差分解

📋 核心要点

  1. 现有方法难以解释大型语言模型与大脑反应之间的对齐，尤其是在自然语言理解的背景下。
  2. 本文提出使用SCRIBE作为可解释的语义表示工具，以分解LLaMA2-7B与大脑反应之间的对齐关系。
  3. 实验结果显示，LLaMA2-7B与大脑的共享方差占主导地位，且具体语义属性的共享方差显著高于抽象属性。

📝 摘要（中文）

大型语言模型（LLMs）在自然语言理解过程中预测神经反应，但其背后的语言信息难以解释。本文使用SCRIBE，一个涵盖65种神经认知语义属性的可解释上下文语义表示，来分解LLaMA2-7B的脑对齐。通过对七名参与者在听叙事故事时的自然fMRI数据进行方差分解，我们发现共享方差在整个大脑及语言相关区域中占主导地位，同时两种表示也保留了显著的独特贡献。具体属性与LLaMA2-7B的共享方差关系更大，而抽象属性则未显示出更大的独特方差。最后，属性消融实验表明，语义贡献跨多个维度延伸，对共享和独特方差均有累积效应。结果表明，LLaMA2-7B在该数据集上与可解释语义信息的对齐占据了重要部分，同时揭示了超出LLaMA2-7B表示的补充脑预测语义信息。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLM）与大脑神经反应之间对齐的可解释性问题。现有方法在理解这种对齐的语言信息时存在困难，尤其是在自然语言理解的背景下。

核心思路：论文的核心思路是利用SCRIBE，一个涵盖多种神经认知语义属性的可解释表示，来分解LLaMA2-7B与大脑反应之间的关系。通过方差分解，能够识别共享与独特的方差成分。

技术框架：整体架构包括数据收集、方差分解和属性消融实验三个主要阶段。首先收集参与者在听叙事故事时的fMRI数据，然后通过方差分解分析LLaMA2-7B与SCRIBE的关系，最后进行属性消融以探讨语义属性的贡献。

关键创新：最重要的技术创新在于使用可解释的语义表示SCRIBE来分析大脑与LLM的对齐，揭示了共享方差的主导地位及其与具体语义属性的关系。这与现有方法的定量分析不同，提供了更深入的理解。

关键设计：在实验中，使用了方差分解技术来区分共享和独特方差，并通过属性消融实验来评估不同语义属性对大脑预测方差的贡献。具体的参数设置和损失函数设计未在摘要中详细说明，需参考原文获取更多技术细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLaMA2-7B与大脑的共享方差在整个大脑及语言相关区域中占主导地位，具体语义属性的共享方差显著高于抽象属性。此研究为理解大脑如何处理语言提供了新的视角，并揭示了超出LLaMA2-7B表示的补充语义信息。

🎯 应用场景

该研究的潜在应用领域包括神经科学、心理学和人工智能，尤其是在理解人类语言处理和开发更具可解释性的语言模型方面。通过揭示大脑与LLM之间的对齐机制，未来可能推动更智能的交互系统和教育工具的发展。

📄 摘要（原文）

Large language models (LLMs) predict neural responses during naturalistic language comprehension, but the linguistic information underlying this brain alignment remains difficult to interpret. We use SCRIBE, an interpretable contextual semantic representation spanning 65 neurocognitively grounded semantic properties, as a lens for decomposing the brain alignment of one LLM, LLaMA2-7B. Using variance partitioning between LLaMA2-7B and SCRIBE on naturalistic fMRI data from seven participants listening to narrative stories (Moth Radio Hour), we separate brain-predictive variance shared between the two representations from variance unique to each. We find that shared variance is the dominant component across the whole brain and language-related regions, while both representations also retain significant unique contributions. We then examine whether the concreteness of individual semantic properties relates to shared and SCRIBE-unique brain-predictive variance. Concrete properties show greater shared variance with LLaMA2-7B than abstract properties across the whole brain and most examined regions, whereas abstract properties do not show greater SCRIBE-unique variance. Finally, property ablations reveal that semantic contributions extend across multiple dimensions, with cumulative effects on both shared and SCRIBE-unique variance. Together, these results show that, for LLaMA2-7B on this dataset, a substantial portion of brain-LLM alignment is associated with interpretable semantic information, while revealing complementary brain-predictive semantic information beyond the LLaMA2-7B representation.