What Shapes Brain Alignment of Large Language Models during Dialogue? Insights from Language Production and Comprehension

📄 arXiv: 2610.22961v1 📥 PDF

作者: Yuko Nakagi, Yuya Chiba, Yasue Kishino

分类: cs.CL, cs.LG, q-bio.NC

发布日期: 2026-10-16

备注: 33 pages

💡 一句话要点

研究对话中大语言模型的脑对齐机制提供新见解

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 脑对齐 语言生成 语言理解 fMRI 内在维度 对话分析

📋 核心要点

  1. 现有研究主要集中在被动语言理解，缺乏对话中语言生成与理解的脑对齐研究。
  2. 本研究通过fMRI数据分析对话中的语言生成与理解，探讨其与LLM表征内在维度的关系。
  3. 研究结果揭示了语言生成与理解的脑对齐模式差异，并显示语言特征在不同处理模式中的变化。

📝 摘要（中文）

大语言模型（LLMs）的脑对齐研究为探讨其与人脑在语言处理中的表征相似性提供了新方法。尽管以往研究主要集中在被动语言理解上，但对话中的语言生成与理解的脑对齐尚不明确。本研究利用对话过程中收集的fMRI数据，分析了LLM层次与人脑区域间的脑对齐情况，并考察了其与LLM表征的内在维度（ID）及多种可解释的语言和交际特征的关联。结果显示，语言生成与理解之间存在明显的脑对齐模式差异，并且在各处理模式相关的脑区中，ID与脑对齐有强关联。此外，语言和交际特征的贡献在不同处理模式、LLM层次和脑区中也表现出变化。

🔬 方法详解

问题定义：本研究旨在解决对话中大语言模型与人脑之间的脑对齐机制尚不明确的问题。现有方法多集中于被动理解，缺乏对生成与理解的综合分析。

核心思路：通过分析对话过程中收集的fMRI数据，探讨语言生成与理解的脑对齐情况，并评估其与LLM表征内在维度的关联性。

技术框架：研究采用fMRI技术收集对话数据，分析不同LLM层次与人脑区域的对齐情况，评估语言和交际特征的贡献。主要模块包括数据收集、对齐分析和特征评估。

关键创新：本研究的创新点在于首次系统性地比较了对话中语言生成与理解的脑对齐模式，并揭示了其与LLM表征内在维度的强关联。

关键设计：研究中采用了多层次的LLM表征分析，结合fMRI数据，设计了特征提取与对齐评估的综合框架，确保了对不同处理模式的全面分析。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究结果表明，语言生成与理解之间的脑对齐模式存在显著差异，且在与处理模式相关的脑区中，内在维度（ID）与脑对齐呈现强关联。这一发现为理解语言处理的神经机制提供了新的证据。

🎯 应用场景

该研究为理解大语言模型与人脑在对话中的交互提供了新的视角，具有潜在的应用价值，尤其在自然语言处理、心理语言学和人机交互等领域。未来可能推动更智能的对话系统和语言理解模型的开发。

📄 摘要（原文）

Brain alignment of large language models (LLMs) offers a way to investigate representational similarities between LLMs and the human brain during language processing. While previous studies have mainly focused on passive language comprehension, little is known about such alignment during dialogue, in which speakers engage in both language production and comprehension. In this study, using fMRI data collected during dialogue, we examine brain alignment during language production and comprehension across LLM layers and brain regions. We assess its association with the intrinsic dimension (ID) of LLM representations and the contributions of several interpretable linguistic and communicative features. Our results reveal distinct patterns of brain alignment between production and comprehension, as well as strong associations with ID in brain regions associated with each processing mode. Furthermore, we show that the contributions of linguistic and communicative features also vary across processing modes, LLM layers, and brain regions.