Weakening Neurons: An Input-Output Functionality in Transformers with Outsize Influence

📄 arXiv: 2609.18612v1 📥 PDF

作者: Sebastian Gerstner, Hilal AlQuabeh, Kentaro Inui, Hinrich Schütze

分类: cs.LG, cs.CL

发布日期: 2026-09-16

备注: Accepted to EMNLP 2026. Supersedes arXiv:2505.17936

💡 一句话要点

提出弱化神经元分析方法以揭示变压器模型功能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 弱化神经元 大型语言模型 余弦相似度 神经元分析 模型可解释性

📋 核心要点

  1. 现有方法未能充分揭示大型语言模型中神经元的具体功能，尤其是弱化神经元的行为特征。
  2. 论文提出通过计算神经元输入输出权重向量的余弦相似度来分析神经元的功能，识别出弱化神经元。
  3. 研究结果表明，弱化神经元在后层频繁出现，尽管数量少但对模型输出有显著影响，尤其在负门值情况下。

📝 摘要（中文）

本文分析了大型语言模型（LLMs）中基于GLU的神经元的输入输出行为。我们提出了一种简单的分析方法：计算每个神经元的输入（读取）和输出（写入）权重向量之间的余弦相似度。强负余弦相似度表明该神经元削弱了其在残差流中的检测方向，因此称之为弱化神经元。研究发现，九种不同的LLMs具有相似的模式：弱化神经元主要出现在后层，而其对应的（条件）强化神经元则在早中层频繁出现。此外，尽管弱化神经元数量较少，但它们的激活频率高，对模型行为有较大影响，尤其在门值为负时，表现出意外的强烈影响。

🔬 方法详解

问题定义：本文旨在解决大型语言模型中神经元功能不明确的问题，现有方法未能有效识别和分析弱化神经元的行为特征。

核心思路：通过计算神经元输入和输出权重向量之间的余弦相似度，识别出那些削弱信号方向的神经元，称为弱化神经元，从而揭示其在模型中的作用。

技术框架：整体方法包括数据准备、余弦相似度计算和结果分析三个主要模块。首先，收集不同LLMs的神经元权重；其次，计算每个神经元的输入输出权重向量的余弦相似度；最后，分析不同层次中弱化和强化神经元的分布及其影响。

关键创新：最重要的创新在于提出了一种简单而有效的分析方法，能够揭示神经元在模型中的具体功能，尤其是弱化神经元的行为特征，与现有方法相比，提供了更深入的理解。

关键设计：在分析过程中，设置了合适的阈值来判断余弦相似度的强度，并通过对比不同层次的神经元分布，确保了分析结果的可靠性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，九种不同的LLMs中，弱化神经元主要集中在后层，而强化神经元则在早中层频繁出现。尽管弱化神经元数量较少，但它们的激活频率高，对模型输出的影响显著，尤其在负门值情况下，表现出意外的强烈影响。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等。通过深入理解神经元的功能，能够优化模型结构，提高模型的性能和可解释性，进而推动更智能的人工智能系统的发展。

📄 摘要（原文）

We analyze the learned input-output behavior of GLU-based neurons in large language models (LLMs). We propose a simple analysis method: For each neuron, we compute the cosine similarities between its input (reading) and output (writing) weight vectors. In this scheme, a strong negative cosine similarity indicates the neuron weakens the direction it detects in the residual stream, so we call this a weakening neuron. This allows us to gain a number of novel insights. First, we show that nine different LLMs have similar patterns: weakening neurons appear mostly in late layers whereas their counterparts, (conditional) strengthening neurons, are frequent in early-middle layers. Second, we find that weakening neurons display surprising behavior: even though there are few, they activate often and have a large influence on model behavior. Third, weakening neurons have a strong effect on model output when gate values are negative -- which is surprising since negative gate values are not expected to encode functionality.