Brain-like Functional Organization within Large Language Models

📄 arXiv: 2410.19542v2 📥 PDF

作者: Haiyang Sun, Lin Zhao, Zihao Wu, Xiaohui Gao, Yutao Hu, Mengfei Zuo, Wei Zhang, Junwei Han, Tianming Liu, Xintao Hu

分类: q-bio.NC, cs.AI

发布日期: 2024-10-25 (更新: 2024-10-31)

💡 一句话要点

通过关联人工神经元与脑功能网络，揭示大语言模型中类脑功能组织

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 类脑计算 功能脑网络 人工神经网络 神经影像学

📋 核心要点

  1. 现有研究主要关注人工神经网络群体层面的行为，缺乏对个体人工神经元功能组织的深入探索，阻碍了对类脑信息处理机制的理解。
  2. 该研究将人工神经元子群与功能脑网络直接耦合，通过构建体素编码模型预测大脑活动，从而揭示大语言模型中的类脑功能组织。
  3. 实验结果表明，大语言模型（BERT 和 Llama 1-3）表现出类脑功能架构，其人工神经元子群反映了已建立的功能脑网络的组织模式。

📝 摘要（中文）

人脑长期以来启发着人工智能的研究。最近，神经影像学研究提供了令人信服的证据，表明人工神经网络（ANNs）的计算表征与人脑对刺激的神经反应之间存在一致性，这表明 ANNs 可能采用类脑的信息处理策略。虽然这种一致性已在视觉、听觉和语言等多种感觉模式中观察到，但大部分关注点都集中在人工神经元（ANs）在群体层面的行为上，而促进这种类脑过程的个体 ANs 的功能组织在很大程度上未被探索。本研究通过将人工神经元的子群与功能脑网络（FBNs）直接耦合来弥补这一差距，FBNs 是人脑的基础组织结构。具体来说，我们从大型语言模型（LLMs）中提取 ANs 时间响应的代表性模式，并将其用作固定回归器来构建体素编码模型，以预测功能磁共振成像（fMRI）记录的大脑活动。该框架将 AN 子群与 FBNs 联系起来，从而能够描绘 LLMs 中的类脑功能组织。我们的研究结果表明，LLMs（BERT 和 Llama 1-3）表现出类脑功能架构，人工神经元的子群反映了已建立的 FBNs 的组织模式。值得注意的是，LLMs 的类脑功能组织随着复杂性和能力的提高而演变，从而在计算行为的多样性和功能专业化的一致性之间实现了更好的平衡。这项研究首次探索了 LLMs 中的类脑功能组织，为利用人脑原理开发通用人工智能（AGI）提供了新的见解。

🔬 方法详解

问题定义：该论文旨在解决如何理解大型语言模型（LLMs）内部的类脑功能组织的问题。现有方法主要关注人工神经元群体的行为，缺乏对个体神经元功能组织的深入研究，无法充分揭示LLMs与人脑的相似性，阻碍了对通用人工智能发展的借鉴。

核心思路：论文的核心思路是将LLMs中的人工神经元子群与人脑中的功能脑网络（FBNs）进行关联。通过分析人工神经元的时间响应模式，并将其作为预测人脑fMRI活动的基础，从而揭示LLMs内部是否存在与人脑相似的功能模块化组织。这种方法能够更直接地将LLMs的计算过程与人脑的神经活动联系起来。

技术框架：整体框架包括以下几个主要步骤：1) 从LLMs（BERT, Llama 1-3）中提取人工神经元的时间响应数据。2) 对这些时间响应数据进行分析，提取代表性的模式。3) 将这些代表性模式作为固定回归器，构建体素编码模型。4) 使用该模型预测人脑在执行类似任务时的fMRI活动。5) 通过分析预测结果，确定LLMs中哪些人工神经元子群与哪些FBNs相关联，从而揭示LLMs的类脑功能组织。

关键创新：该论文最重要的创新点在于首次将LLMs中的人工神经元子群与人脑中的功能脑网络直接关联起来。与以往主要关注群体行为的研究不同，该研究深入到个体神经元的层面，揭示了LLMs内部更精细的类脑功能组织。这种方法为理解LLMs的内部机制以及开发更智能的AI系统提供了新的视角。

关键设计：论文的关键设计包括：1) 选择合适的大语言模型（BERT, Llama 1-3）作为研究对象。2) 设计有效的算法从人工神经元的时间响应中提取代表性模式。3) 构建准确的体素编码模型，能够有效地预测人脑fMRI活动。4) 使用适当的统计方法分析预测结果，确定人工神经元子群与功能脑网络之间的关联。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究发现，大型语言模型（BERT 和 Llama 1-3）表现出类脑功能架构，其人工神经元的子群反映了人脑中已建立的功能脑网络的组织模式。更重要的是，LLMs的类脑功能组织随着模型复杂度和能力的提升而演变，在计算行为的多样性和功能专业化的一致性之间取得了更好的平衡。这些发现为理解和改进LLMs提供了新的视角。

🎯 应用场景

该研究成果可应用于指导新型人工智能系统的设计，特别是通用人工智能（AGI）的开发。通过借鉴人脑的功能组织原理，可以设计出更高效、更具适应性和更接近人类认知能力的AI系统。此外，该研究还有助于深入理解现有大型语言模型的内部机制，为模型优化和改进提供理论依据。

📄 摘要（原文）

The human brain has long inspired the pursuit of artificial intelligence (AI). Recently, neuroimaging studies provide compelling evidence of alignment between the computational representation of artificial neural networks (ANNs) and the neural responses of the human brain to stimuli, suggesting that ANNs may employ brain-like information processing strategies. While such alignment has been observed across sensory modalities--visual, auditory, and linguistic--much of the focus has been on the behaviors of artificial neurons (ANs) at the population level, leaving the functional organization of individual ANs that facilitates such brain-like processes largely unexplored. In this study, we bridge this gap by directly coupling sub-groups of artificial neurons with functional brain networks (FBNs), the foundational organizational structure of the human brain. Specifically, we extract representative patterns from temporal responses of ANs in large language models (LLMs), and use them as fixed regressors to construct voxel-wise encoding models to predict brain activity recorded by functional magnetic resonance imaging (fMRI). This framework links the AN sub-groups to FBNs, enabling the delineation of brain-like functional organization within LLMs. Our findings reveal that LLMs (BERT and Llama 1-3) exhibit brain-like functional architecture, with sub-groups of artificial neurons mirroring the organizational patterns of well-established FBNs. Notably, the brain-like functional organization of LLMs evolves with the increased sophistication and capability, achieving an improved balance between the diversity of computational behaviors and the consistency of functional specializations. This research represents the first exploration of brain-like functional organization within LLMs, offering novel insights to inform the development of artificial general intelligence (AGI) with human brain principles.