Evidence from fMRI Supports a Two-Phase Abstraction Process in Language Models

📄 arXiv: 2409.05771v1 📥 PDF

作者: Emily Cheng, Richard J. Antonello

分类: cs.CL, cs.AI

发布日期: 2024-09-09

备注: Equal contribution from both authors. Submitted to NeurIPS NeuroAI workshop 2024

💡 一句话要点

fMRI证据支持语言模型中存在两阶段抽象过程

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 fMRI 大脑反应预测 表征学习 流形学习

📋 核心要点

  1. 现有研究未能充分解释LLM中间层优于输出层进行大脑反应预测的原因，缺乏对表征属性的深入理解。
  2. 该研究提出LLM存在两阶段抽象过程，包括组合和后续阶段，并通过流形学习方法揭示其在训练中的演变。
  3. 实验结果表明，LLM的层级编码性能与其表征的内在维度密切相关，且主要源于组合性而非预测能力。

📝 摘要（中文）

研究表明，大型语言模型（LLM）的中间隐藏状态能够预测自然语言刺激下的大脑反应。然而，对于实现这种高预测性能的表征属性知之甚少。为什么是中间层，而不是输出层，最适合这种独特的、高度通用的迁移任务？本文利用fMRI中的语言编码模型，证明LLM中存在两阶段抽象过程。通过流形学习方法表明，这种抽象过程在语言模型的训练过程中自然产生，并且随着训练的进行，第一阶段的“组合”过程被压缩到更少的层中。最后，证明了分层编码性能与LLM表征的内在维度之间存在很强的对应关系。初步证据表明，这种对应关系主要源于LLM固有的组合性，而不是其下一个词预测属性。

🔬 方法详解

问题定义：现有研究对于大型语言模型（LLM）中间层能够有效预测大脑对自然语言刺激的反应这一现象，缺乏深入的解释。特别是，为什么中间层比输出层更适合这项任务，以及这种预测能力背后的表征属性是什么，仍然是未知的。现有方法难以揭示LLM内部表征的抽象过程和内在机制。

核心思路：该论文的核心思路是利用fMRI数据，结合流形学习等方法，来研究LLM内部表征的抽象过程。通过分析LLM不同层级的表征，揭示其内在维度和编码性能之间的关系，从而理解LLM如何从原始输入中提取和组织信息。该研究假设LLM存在一个两阶段的抽象过程，并试图通过实验验证这一假设。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 使用fMRI数据，测量大脑对自然语言刺激的反应。2) 从LLM的不同层级提取隐藏状态表征。3) 使用编码模型，将LLM的表征与fMRI数据进行关联，评估不同层级的编码性能。4) 使用流形学习方法，分析LLM表征的内在维度。5) 分析编码性能和内在维度之间的关系，从而揭示LLM的抽象过程。

关键创新：该论文的关键创新在于：1) 提出了LLM中存在两阶段抽象过程的假设，并提供了fMRI证据支持。2) 使用流形学习方法，揭示了LLM表征的内在维度和演变过程。3) 证明了LLM的层级编码性能与其表征的内在维度之间存在很强的对应关系，并且这种对应关系主要源于组合性而非预测能力。

关键设计：该研究的关键设计包括：1) 选择合适的LLM模型和fMRI数据集。2) 设计有效的编码模型，将LLM表征与fMRI数据进行关联。3) 选择合适的流形学习方法，分析LLM表征的内在维度。4) 设计合理的实验，验证LLM中两阶段抽象过程的假设，并分析编码性能和内在维度之间的关系。具体的参数设置、损失函数、网络结构等技术细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，LLM的中间层比输出层更适合预测大脑对自然语言的反应。通过流形学习，揭示了LLM存在两阶段抽象过程，且第一阶段的“组合”过程随着训练的进行被压缩到更少的层中。实验证明，LLM的层级编码性能与其表征的内在维度密切相关，且主要源于组合性而非预测能力。

🎯 应用场景

该研究成果可应用于改进语言模型的训练方法，使其更有效地模拟人类大脑的语言处理机制。此外，该研究有助于理解人类语言认知的神经基础，并为开发更智能、更自然的自然语言处理系统提供理论指导。未来，该研究或可用于诊断和治疗语言障碍相关疾病。

📄 摘要（原文）

Research has repeatedly demonstrated that intermediate hidden states extracted from large language models are able to predict measured brain response to natural language stimuli. Yet, very little is known about the representation properties that enable this high prediction performance. Why is it the intermediate layers, and not the output layers, that are most capable for this unique and highly general transfer task? In this work, we show that evidence from language encoding models in fMRI supports the existence of a two-phase abstraction process within LLMs. We use manifold learning methods to show that this abstraction process naturally arises over the course of training a language model and that the first "composition" phase of this abstraction process is compressed into fewer layers as training continues. Finally, we demonstrate a strong correspondence between layerwise encoding performance and the intrinsic dimensionality of representations from LLMs. We give initial evidence that this correspondence primarily derives from the inherent compositionality of LLMs and not their next-word prediction properties.