Grammatical "grandmother neurons" are rare in LLMs

📄 arXiv: 2609.29328v1 📥 PDF

作者: Linyang He, Nima Mesgarani

分类: cs.CL

发布日期: 2026-09-24

备注: Accepted at COLM 2026. 28 pages

💡 一句话要点

提出无探针框架以解决LLMs语言结构可解释性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 可解释性 神经元选择性 语言结构 探针方法

📋 核心要点

  1. 现有方法在使用探针进行语言结构可解释性分析时，存在容量混淆和校准问题，难以区分模型内在表示与探针学习能力。
  2. 论文提出了一种无探针框架，通过神经元可分离性指数（NSI）直接量化单个神经元对语法与非语法构造的区分能力。
  3. 实验结果显示，单神经元选择性稀疏且强选择性神经元稀少，整体向量线性可分离性与行为能力大体上是分离的。

📝 摘要（中文）

理解大型语言模型（LLMs）如何编码语言结构仍然是可解释性研究中的一个基本挑战。虽然诊断分类器（或称“探针”）被广泛用于此任务，但它们面临显著的 методологические批评：训练辅助分类器引入了容量混淆和校准问题，常常使得区分模型的内在表示与探针学习任务的能力变得困难。为了解决这些局限性，本文提出了一种无探针框架，以在单个神经元级别定位语言选择性。通过利用语言最小对的受控对比，提出了神经元可分离性指数（NSI），该指标直接量化单个神经元在不更新参数的情况下如何可靠地区分语法与非语法构造。对68个语言范式和七个检查点应用NSI揭示了三个主要模式：1）原始可分离性在形态和句法区分上早期达到近峰值；2）单元选择性稀疏、弱且窄调，仅少数单元对平均范式敏感；3）整体向量线性可分离性、单神经元选择性与行为能力大体上是分离的。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在语言结构可解释性分析中的局限性，尤其是探针方法引入的容量混淆和校准问题，使得难以区分模型的内在表示与探针的学习能力。

核心思路：提出了一种无探针的框架，通过神经元可分离性指数（NSI）来量化单个神经元对语法和非语法构造的区分能力，避免了参数更新带来的干扰。

技术框架：整体架构包括数据准备、NSI计算和结果分析三个主要模块。首先，通过构建语言最小对进行数据准备；然后，计算每个神经元的NSI值；最后，分析不同语言范式下的神经元选择性。

关键创新：最重要的技术创新在于提出了NSI这一指标，能够在不依赖于探针的情况下，直接评估单个神经元的语言选择性，这与现有方法的依赖探针的本质区别。

关键设计：在NSI计算中，采用了特定的损失函数和参数设置，以确保能够准确反映神经元的选择性，同时避免了参数更新对结果的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，单神经元选择性表现出稀疏性和弱性，强选择性神经元的出现频率极低。此外，整体向量的线性可分离性与单神经元的选择性和行为能力之间存在显著的分离，表明模型的复杂性和神经元的功能之间的关系并不简单。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、语言模型的可解释性分析以及神经网络的结构优化。通过更好地理解神经元如何编码语言结构，可以为改进语言模型的设计和训练提供重要的理论基础，进而提升其在实际应用中的表现。

📄 摘要（原文）

Understanding how Large Language Models (LLMs) encode linguistic structures remains a fundamental challenge in interpretability research. While diagnostic classifiers (or "probes") are widely used for this task, they face significant methodological criticism: training auxiliary classifiers introduces capacity confounds and calibration issues, often making it difficult to distinguish the model's intrinsic representations from the probe's ability to learn the task. To address these limitations, we introduce a probe-free framework for localizing linguistic selectivity at the individual neuron level. Leveraging the controlled contrasts of linguistic minimal pairs, we propose a Neuron Separability Index (NSI), a metric that directly quantifies how reliably single neurons differentiate grammatical from ungrammatical constructions without parameter updates. Applying NSI across 68 linguistic paradigms and seven checkpoints reveals three main patterns: 1) raw separability reaches near-peak levels earlier for morphological and syntactic distinctions than for syntax-semantics interface and conceptual distinctions. 2) after permutation normalization, single-unit selectivity is sparse, weak, and narrowly tuned: only a small fraction of units are sensitive to an average paradigm, and strongly selective "grandmother neurons" are rare. 3) whole-vector linear separability, single-neuron selectivity, and behavioral competence are largely dissociated, and targeted ablations further separate activation selectivity from causal reliance.