From Language to Cognition: How LLMs Outgrow the Human Language Network

📄 arXiv: 2503.01830v2 📥 PDF

作者: Badr AlKhamissi, Greta Tuckute, Yingtian Tang, Taha Binhuraib, Antoine Bosselut, Martin Schrimpf

分类: cs.CL

发布日期: 2025-03-03 (更新: 2025-09-20)

备注: EMNLP 2025. Project Page at https://language-to-cognition.epfl.ch

💡 一句话要点

研究表明LLM的语言能力发展与人脑语言网络关联，但超越人类后关联减弱

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 人脑语言网络 大脑对齐 形式语言能力 功能语言能力

📋 核心要点

  1. 现有研究对LLM训练过程中语言能力与人脑语言网络关联的演变尚不明确，缺乏对形式语言能力和功能语言能力差异的深入分析。
  2. 该研究通过分析不同大小的LLM在训练过程中的大脑对齐情况，探究语言能力发展与人脑语言网络关联的演变规律。
  3. 实验表明，大脑对齐与形式语言能力关联更紧密，且当模型超越人类语言能力后，与大脑的关联减弱，提示人脑语言网络主要编码形式语言结构。

📝 摘要（中文）

大型语言模型（LLM）在人脑语言网络中表现出与神经活动显著的相似性。然而，塑造类脑表征的关键语言属性，以及它们在训练过程中随不同任务的演变仍不清楚。本文通过基准测试34个训练检查点，涵盖8种不同的模型大小，跨越3000亿tokens，来分析大脑对齐如何与语言能力相关。具体而言，研究发现大脑对齐更紧密地跟踪形式语言能力的开发，即对语言规则的知识，而不是功能语言能力。虽然涉及世界知识和推理的功能能力在整个训练过程中持续发展，但其与大脑对齐的关系较弱，表明人脑语言网络主要编码形式语言结构，而不是更广泛的认知功能。进一步表明，在控制特征大小的情况下，模型大小并不是大脑对齐的可靠预测指标，并且一旦模型超过人类语言能力，下一个词预测、行为对齐和大脑对齐之间的相关性就会减弱。最后，使用迄今为止最严格的神经语言基准测试集，表明语言大脑对齐基准测试仍然不饱和，突出了改进未来模型的机会。总而言之，研究结果表明，人脑语言网络最好通过语言的形式方面而不是功能方面来建模。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）的语言能力发展与其在人脑语言网络中的神经活动相似性之间的关系。现有研究未能充分区分形式语言能力（对语言规则的掌握）和功能语言能力（世界知识和推理能力）在塑造类脑表征中的作用，并且缺乏对模型超越人类语言能力后，这种关系如何变化的深入分析。

核心思路：论文的核心思路是通过系统地评估不同大小的LLM在训练过程中的大脑对齐情况，来揭示形式语言能力和功能语言能力对人脑语言网络表征的影响。通过对比模型在不同语言能力上的表现与大脑对齐程度，探究人脑语言网络更倾向于编码哪种语言能力。同时，研究模型超越人类语言能力后，大脑对齐的变化，以理解LLM与人脑的差异。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择一系列不同大小的LLM，并记录它们在训练过程中的多个检查点；2) 使用神经语言基准测试评估模型在形式语言能力和功能语言能力上的表现；3) 通过大脑对齐分析，测量模型在不同训练阶段的神经活动与人脑语言网络的相似性；4) 分析语言能力、大脑对齐和模型大小之间的关系，以确定哪些因素对类脑表征的形成起关键作用。

关键创新：该研究的关键创新在于：1) 区分了形式语言能力和功能语言能力对人脑语言网络表征的不同影响；2) 揭示了模型超越人类语言能力后，其与人脑语言网络的关联减弱的现象；3) 使用了迄今为止最严格的神经语言基准测试集，为评估LLM的语言能力提供了更可靠的依据。

关键设计：研究中使用了34个训练检查点，涵盖8种不同的模型大小，跨越3000亿tokens。大脑对齐分析可能使用了Representational Similarity Analysis (RSA) 或其他类似的技术，将模型的内部表征与人脑的神经活动进行比较。具体的损失函数和网络结构细节可能取决于所使用的LLM架构（例如Transformer），但论文的重点在于分析训练过程中的大脑对齐变化，而不是特定的模型设计。

📊 实验亮点

研究发现，LLM的大脑对齐程度与形式语言能力（如语法规则）的掌握程度更相关，而与功能语言能力（如世界知识和推理）的相关性较弱。当模型超越人类语言能力后，其与人脑语言网络的相关性减弱，表明LLM在某些方面已经超越了人脑的语言处理方式。

🎯 应用场景

该研究成果可应用于指导新型LLM的训练，使其更好地模拟人脑语言网络的运作方式，从而提升模型的语言理解和生成能力。此外，该研究还有助于深入理解人类语言认知机制，为认知科学和神经科学提供新的视角。

📄 摘要（原文）

Large language models (LLMs) exhibit remarkable similarity to neural activity in the human language network. However, the key properties of language shaping brain-like representations, and their evolution during training as a function of different tasks remain unclear. We here benchmark 34 training checkpoints spanning 300B tokens across 8 different model sizes to analyze how brain alignment relates to linguistic competence. Specifically, we find that brain alignment tracks the development of formal linguistic competence -- i.e., knowledge of linguistic rules -- more closely than functional linguistic competence. While functional competence, which involves world knowledge and reasoning, continues to develop throughout training, its relationship with brain alignment is weaker, suggesting that the human language network primarily encodes formal linguistic structure rather than broader cognitive functions. We further show that model size is not a reliable predictor of brain alignment when controlling for feature size and find that the correlation between next-word prediction, behavioral alignment and brain alignment fades once models surpass human language proficiency. Finally, using the largest set of rigorous neural language benchmarks to date, we show that language brain alignment benchmarks remain unsaturated, highlighting opportunities for improving future models. Taken together, our findings suggest that the human language network is best modeled by formal, rather than functional, aspects of language.