On the Shape of Brainscores for Large Language Models (LLMs)

📄 arXiv: 2405.06725v3 📥 PDF

作者: Jingkai Li

分类: q-bio.NC, cs.AI, cs.CL, cs.LG

发布日期: 2024-05-10 (更新: 2024-05-15)

备注: Published as a workshop paper at ICLR AGI Workshop 2024

💡 一句话要点

构建拓扑特征分析LLM的Brainscore，提升可解释性机器学习研究。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 Brainscore 可解释机器学习 fMRI 拓扑数据分析

📋 核心要点

  1. 现有Brainscore缺乏可解释性，难以理解LLM与人脑功能相似性的具体体现。
  2. 通过构建基于fMRI数据和LLM的拓扑特征，并结合线性回归模型进行分析，揭示Brainscore的内在含义。
  3. 发现特定特征组合能够有效解释不同脑区和半球的Brainscore，为可解释机器学习提供了新思路。

📝 摘要（中文）

随着大型语言模型（LLMs）的兴起，“Brainscore”这一新型指标应运而生，用于评估LLMs与人类大脑/神经系统之间的功能相似性。本研究致力于挖掘Brainscore的意义，通过构建源自190名受试者的人类fMRI数据以及39个LLMs及其未经训练的对应模型的拓扑特征来实现。随后，我们训练了36个线性回归模型，并进行了全面的统计分析，以辨别可靠且有效的特征。研究结果揭示了有助于解释各种感兴趣脑区（ROIs）和半球中现有Brainscore的独特特征组合，从而显著促进了可解释机器学习（iML）研究的进展。此外，我们还对现有的Brainscore进行了深入的讨论和分析。据我们所知，本研究是首次尝试理解这一跨学科领域中的新型指标Brainscore。

🔬 方法详解

问题定义：论文旨在解决Brainscore指标缺乏可解释性的问题。Brainscore作为一种评估LLM与人脑功能相似性的指标，其内在含义尚不明确，难以理解LLM究竟在哪些方面与人脑相似，以及相似程度如何。现有方法难以从Brainscore中提取有意义的信息，阻碍了对LLM认知能力的深入理解。

核心思路：论文的核心思路是通过构建拓扑特征来表征fMRI数据和LLM的内部表征，然后利用这些特征来解释Brainscore。拓扑特征能够捕捉数据中的结构信息，从而反映LLM和人脑的认知过程。通过分析拓扑特征与Brainscore之间的关系，可以揭示Brainscore所代表的LLM与人脑之间的功能相似性。

技术框架：整体框架包括以下几个阶段：1) 数据收集：收集190名受试者的人类fMRI数据和39个LLM及其未经训练的对应模型的数据。2) 特征构建：基于fMRI数据和LLM数据，构建拓扑特征。3) 模型训练：训练36个线性回归模型，以拓扑特征为输入，Brainscore为输出。4) 统计分析：对线性回归模型的结果进行统计分析，以辨别可靠且有效的特征。

关键创新：论文的关键创新在于将拓扑数据分析方法应用于Brainscore的解释。通过构建拓扑特征，能够捕捉LLM和人脑的认知过程中的结构信息，从而更好地理解Brainscore的含义。此外，论文还通过统计分析方法，筛选出对解释Brainscore具有重要意义的特征组合。

关键设计：论文中，拓扑特征的具体构建方法未知，线性回归模型的具体参数设置也未知。损失函数未知。网络结构未知。

📊 实验亮点

研究发现特定的拓扑特征组合能够有效解释不同脑区和半球的Brainscore，揭示了LLM与人脑在特定认知功能上的相似性。通过线性回归模型，可以预测Brainscore，并分析哪些特征对Brainscore的影响最大。具体的性能数据和提升幅度未知。

🎯 应用场景

该研究成果可应用于可解释人工智能领域，帮助研究人员更好地理解大型语言模型的认知机制，并为开发更智能、更人性化的AI系统提供理论基础。此外，该方法还可以推广到其他脑科学研究领域，例如，用于分析不同认知任务下的大脑活动模式，或用于诊断神经系统疾病。

📄 摘要（原文）

With the rise of Large Language Models (LLMs), the novel metric "Brainscore" emerged as a means to evaluate the functional similarity between LLMs and human brain/neural systems. Our efforts were dedicated to mining the meaning of the novel score by constructing topological features derived from both human fMRI data involving 190 subjects, and 39 LLMs plus their untrained counterparts. Subsequently, we trained 36 Linear Regression Models and conducted thorough statistical analyses to discern reliable and valid features from our constructed ones. Our findings reveal distinctive feature combinations conducive to interpreting existing brainscores across various brain regions of interest (ROIs) and hemispheres, thereby significantly contributing to advancing interpretable machine learning (iML) studies. The study is enriched by our further discussions and analyses concerning existing brainscores. To our knowledge, this study represents the first attempt to comprehend the novel metric brainscore within this interdisciplinary domain.