Brain-Inspired Exploration of Functional Networks and Key Neurons in Large Language Models

📄 arXiv: 2502.20408v2 📥 PDF

作者: Yiheng Liu, Zhengliang Liu, Zihao Wu, Junhao Ning, Haiyang Sun, Sichen Xia, Yang Yang, Xiaohui Gao, Ning Qiang, Bao Ge, Tianming Liu, Junwei Han, Xintao Hu

分类: q-bio.NC, cs.AI, cs.CL, cs.LG

发布日期: 2025-02-13 (更新: 2026-01-07)

备注: 21 pages, 18 figures

🔗 代码/项目: GITHUB

💡 一句话要点

受脑启发，探索大语言模型中的功能网络与关键神经元

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 功能网络 神经元激活 脑启发 可解释性 模型优化 性能提升

📋 核心要点

  1. 现有方法主要关注单个神经元对LLM功能的贡献，忽略了人脑功能是通过复杂交互网络实现的。
  2. 受功能脑网络研究启发，该论文探索LLM内部的“功能网络”，分析其对模型性能的影响。
  3. 实验表明LLM存在频繁重复的功能网络，抑制关键网络会损害模型能力，激活则能提升性能。

📝 摘要（中文）

近年来，大型语言模型（LLMs）在自然语言处理领域的快速发展激发了研究人员对其机制和功能特性的浓厚兴趣。虽然之前的研究试图通过识别和解释特定神经元来解释LLM的功能，但这些努力主要集中在单个神经元的贡献上，忽略了人脑功能是通过复杂的交互网络实现的这一事实。受到神经科学领域功能脑网络（FBNs）研究的启发，我们利用FBN分析中类似的方法来探索LLM中的“功能网络”。实验结果表明，与人脑非常相似，LLM在运行过程中表现出某些频繁重复出现的功能网络。进一步的调查显示，这些功能网络对于LLM的性能是不可或缺的。抑制关键功能网络会严重损害模型的能力。相反，放大这些网络中神经元的活动可以提高模型的整体性能或其在特定任务上的性能。这表明这些功能网络与特定任务或LLM的整体性能密切相关。

🔬 方法详解

问题定义：现有研究主要关注单个神经元对LLM功能的贡献，缺乏对神经元之间相互作用的整体性理解。这使得我们难以深入理解LLM内部复杂的功能机制，以及如何有效地操控和优化LLM的性能。现有方法难以揭示LLM中神经元协作的模式，以及这些模式与特定任务或整体性能之间的关系。

核心思路：该论文的核心思路是借鉴神经科学中功能脑网络（FBNs）的研究方法，将LLM视为一个复杂的神经元网络，通过分析神经元之间的激活模式和连接强度，来识别LLM中的功能网络。通过干预这些功能网络（例如抑制或激活），来观察对LLM性能的影响，从而推断这些网络的功能和作用。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 神经元激活数据收集：使用不同的输入数据（例如文本）来运行LLM，并记录每个神经元的激活值。2) 功能网络构建：基于神经元激活值之间的相关性，构建LLM的功能网络。常用的方法包括计算神经元之间的皮尔逊相关系数，并设置阈值来确定网络连接。3) 功能网络分析：分析功能网络的拓扑结构，例如网络的聚类系数、平均路径长度等。识别关键的功能网络，例如频繁出现的网络或具有高中心性的网络。4) 功能网络干预：通过抑制或激活关键功能网络中的神经元，来观察对LLM性能的影响。抑制可以通过将神经元的激活值设置为零来实现，激活可以通过放大神经元的激活值来实现。5) 性能评估：使用不同的任务和指标来评估LLM的性能，例如文本生成、文本分类等。

关键创新：该论文的关键创新在于将神经科学中的功能脑网络分析方法应用于LLM的研究。这种方法提供了一种新的视角来理解LLM的内部机制，并为操控和优化LLM的性能提供了新的思路。与以往关注单个神经元的研究不同，该论文关注神经元之间的相互作用，从而能够更全面地理解LLM的功能。

关键设计：关键设计包括：1) 相关性度量：使用皮尔逊相关系数来衡量神经元之间的激活相关性。2) 阈值设置：设置阈值来确定功能网络中的连接。阈值的选择会影响网络的拓扑结构和分析结果。3) 干预方法：使用抑制和激活两种方法来干预功能网络。抑制通过将神经元的激活值设置为零来实现，激活可以通过放大神经元的激活值来实现。4) 性能评估指标：使用不同的任务和指标来评估LLM的性能，例如文本生成、文本分类等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM中存在频繁重复的功能网络，抑制关键功能网络会显著降低模型性能，而激活这些网络则能提升模型在特定任务或整体上的表现。例如，激活特定功能网络可以提高模型在文本生成任务中的流畅度和连贯性，或提高模型在文本分类任务中的准确率。

🎯 应用场景

该研究成果可应用于提升大语言模型的性能和可解释性。通过理解和操控LLM中的功能网络，可以优化模型结构、提高特定任务的性能，并降低模型对对抗性攻击的脆弱性。此外，该研究还有助于开发更高效、更可靠的LLM，并为类脑计算和人工智能研究提供新的思路。

📄 摘要（原文）

In recent years, the rapid advancement of large language models (LLMs) in natural language processing has sparked significant interest among researchers to understand their mechanisms and functional characteristics. Although prior studies have attempted to explain LLM functionalities by identifying and interpreting specific neurons, these efforts mostly focus on individual neuron contributions, neglecting the fact that human brain functions are realized through intricate interaction networks. Inspired by research on functional brain networks (FBNs) in the field of neuroscience, we utilize similar methodologies estabilished in FBN analysis to explore the "functional networks" within LLMs in this study. Experimental results highlight that, much like the human brain, LLMs exhibit certain functional networks that recur frequently during their operation. Further investigation reveals that these functional networks are indispensable for LLM performance. Inhibiting key functional networks severely impairs the model's capabilities. Conversely, amplifying the activity of neurons within these networks can enhance either the model's overall performance or its performance on specific tasks. This suggests that these functional networks are strongly associated with either specific tasks or the overall performance of the LLM. Code is available at https://github.com/WhatAboutMyStar/LLM_ACTIVATION.