fMRI predictors based on language models of increasing complexity recover brain left lateralization
作者: Laurent Bonnasse-Gahot, Christophe Pallier
分类: cs.CL, cs.AI, q-bio.NC
发布日期: 2024-05-28 (更新: 2024-11-04)
备注: 38th Conference on Neural Information Processing Systems (NeurIPS 2024)
💡 一句话要点
利用不同复杂度的语言模型预测fMRI，揭示大脑左侧优势
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: fMRI 语言模型 大脑左侧优势 自然语言处理 神经语言学
📋 核心要点
- 现有研究利用语言模型分析大脑活动，但结果显示双侧对称激活，与语言左侧优势不符。
- 本研究通过操纵语言模型的复杂度，观察模型预测fMRI信号的能力与大脑半球优势的关系。
- 实验发现模型性能随参数规模对数线性增长，且左半球相关性增长幅度大于右半球。
📝 摘要（中文）
过去十年，自然语言处理研究蓬勃发展，参与者在听连续文本时接受扫描。研究人员使用词嵌入，然后使用大型语言模型，创建编码模型来分析大脑信号。将这些模型与参与者相同的文本进行对比，可以识别大脑区域，其中功能磁共振成像（fMRI）时间序列与模型的人工神经元预测的时间序列之间存在显著相关性。这些研究的一个有趣的发现是，它们揭示了高度对称的双边激活模式，这与众所周知的语言处理的左侧优势有些不符。本文报告了对fMRI数据集的分析，我们操纵了大型语言模型的复杂性，测试了来自8个不同系列的28个预训练模型，参数范围从1.24亿到142亿。首先，我们观察到模型在预测大脑反应方面的性能遵循缩放规律，即与大脑活动的拟合随着模型参数数量的对数（及其在自然语言处理任务中的性能）线性增加。其次，虽然这种效应存在于两个半球，但左半球比右半球更强。具体而言，大脑相关性的左右差异遵循参数数量的缩放规律。这一发现将使用大型语言模型对大脑活动进行的计算分析与失语症患者的经典观察结果（即左半球在语言方面占主导地位）相协调。
🔬 方法详解
问题定义：现有研究使用语言模型分析自然语言处理过程中大脑的激活模式，但发现大脑激活呈现双侧对称，这与临床观察到的语言功能左侧优势相悖。现有方法无法充分解释这种矛盾现象。
核心思路：本研究的核心思路是探究语言模型的复杂度（通过模型参数量衡量）与大脑激活模式预测能力之间的关系，并观察这种关系在左右脑半球是否存在差异。通过系统性地测试不同复杂度的语言模型，研究人员试图揭示模型复杂度如何影响对大脑语言处理机制的模拟，从而解释双侧对称激活与左侧优势之间的矛盾。
技术框架：该研究的技术框架主要包含以下几个步骤：1) 选择一系列不同参数规模的预训练语言模型（从1.24亿到142亿参数）；2) 使用这些模型处理参与者在fMRI扫描过程中听取的自然语言文本；3) 利用模型输出预测大脑的fMRI时间序列；4) 计算模型预测与实际fMRI信号之间的相关性，作为模型性能的指标；5) 分析模型性能与模型参数规模之间的关系，以及这种关系在左右脑半球的差异。
关键创新：本研究的关键创新在于：1) 系统性地研究了语言模型复杂度与大脑激活模式预测能力之间的关系，揭示了模型性能的缩放规律；2) 发现了左半球相关性增长幅度大于右半球，从而将计算模型分析结果与临床观察到的语言左侧优势相协调；3) 使用了大量不同规模的预训练语言模型，保证了研究结果的可靠性和泛化性。
关键设计：研究中使用了28个预训练语言模型，来自8个不同的模型家族，参数规模从1.24亿到142亿不等。模型性能的评估指标是模型预测的fMRI时间序列与实际fMRI信号之间的相关性。研究人员分析了模型性能与模型参数数量的对数之间的线性关系，以及这种关系在左右脑半球的差异。没有提及具体的损失函数或网络结构细节，重点在于模型规模的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，语言模型预测大脑反应的性能遵循缩放规律，与大脑活动的拟合程度随模型参数数量的对数线性增加。更重要的是，左半球的相关性增长幅度大于右半球，这与传统的语言左侧优势理论相符。该研究成功地将大型语言模型与大脑活动联系起来，为理解语言的神经机制提供了新的证据。
🎯 应用场景
该研究成果可应用于神经语言学、认知科学等领域，有助于深入理解大脑的语言处理机制。通过优化语言模型，可以更准确地预测大脑活动，为开发新型脑机接口、辅助语言障碍患者康复等提供理论基础和技术支持。此外，该研究也为人工智能模型的设计提供了新的视角，即模型复杂度与生物智能之间可能存在某种关联。
📄 摘要（原文）
Over the past decade, studies of naturalistic language processing where participants are scanned while listening to continuous text have flourished. Using word embeddings at first, then large language models, researchers have created encoding models to analyze the brain signals. Presenting these models with the same text as the participants allows to identify brain areas where there is a significant correlation between the functional magnetic resonance imaging (fMRI) time series and the ones predicted by the models' artificial neurons. One intriguing finding from these studies is that they have revealed highly symmetric bilateral activation patterns, somewhat at odds with the well-known left lateralization of language processing. Here, we report analyses of an fMRI dataset where we manipulate the complexity of large language models, testing 28 pretrained models from 8 different families, ranging from 124M to 14.2B parameters. First, we observe that the performance of models in predicting brain responses follows a scaling law, where the fit with brain activity increases linearly with the logarithm of the number of parameters of the model (and its performance on natural language processing tasks). Second, although this effect is present in both hemispheres, it is stronger in the left than in the right hemisphere. Specifically, the left-right difference in brain correlation follows a scaling law with the number of parameters. This finding reconciles computational analyses of brain activity using large language models with the classic observation from aphasic patients showing left hemisphere dominance for language.