Distribution-aware Language Neuron Identification in Multilingual Large Language Models

📄 arXiv: 2609.10993v1 📥 PDF

作者: Minjun Kim, Inho Won, Junghun Yuk, Dongyeon Kim, Jihyo Kim, KyungTae Lim

分类: cs.CL

发布日期: 2026-09-10

备注: Accepted to EMNLP 2026

💡 一句话要点

提出分布感知语言神经元识别方法以提升多语言模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言模型 语言特定神经元 激活分布 成对重叠系数 自然语言处理

📋 核心要点

  1. 现有方法通过熵测量神经元的语言特异性，但未能充分反映多语言模型的分布特性。
  2. 提出分布感知语言神经元选择，利用语言激活分布之间的成对关系来量化语言特异性。
  3. 在两个mLLMs和两个语料库上，识别器在目标语言损伤率上提高了4.9倍，同时保持非目标语言性能。

📝 摘要（中文）

多语言大型语言模型（mLLMs）中存在少量对特定语言敏感的前馈神经元，通常称为语言特定神经元。现有方法通过测量每个神经元的语言活跃概率的熵来评估语言特异性，但未能充分捕捉mLLMs的多语言特性。本文提出分布感知语言神经元选择方法，利用每种语言的激活分布之间的成对关系，量化每个神经元的语言特异性。通过在两个mLLMs和两个保留语料库上的实验，证明该方法能够更有效地隔离语言特定的因果效应，提升目标语言的损伤率，同时保持非目标语言的性能。

🔬 方法详解

问题定义：本文旨在解决现有方法在评估多语言大型语言模型中语言特定神经元时的不足，特别是未能充分考虑激活分布的多样性和相互关系。

核心思路：通过成对重叠系数对语言激活分布进行聚类，量化每个神经元的语言特异性，从而更全面地捕捉多语言模型的特性。

技术框架：整体流程包括数据预处理、激活分布计算、成对重叠系数计算和语言聚类，最终识别出语言特定神经元。

关键创新：提出的分布感知方法通过考虑负值激活，克服了传统方法的局限，能够更准确地识别语言特定神经元。

关键设计：在聚类过程中，使用成对重叠系数作为关键参数，确保对激活分布的全面分析，优化了神经元的选择过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的识别器在目标语言损伤率上提升了4.9倍，相较于传统方法显著提高了对语言特定因果效应的隔离能力，同时保持了非目标语言的性能稳定性。

🎯 应用场景

该研究的潜在应用领域包括多语言自然语言处理、机器翻译和跨语言信息检索等。通过更准确地识别语言特定神经元，能够提升多语言模型在特定语言任务上的表现，推动多语言AI系统的实际应用和发展。

📄 摘要（原文）

Multilingual large language models (mLLMs) contain a small fraction of feed-forward neurons that are sensitive to particular languages, commonly termed language-specific neurons. Existing work measures language specificity using the entropy of each neuron's language-wise probabilities of being active, where a neuron is considered active when its activation value is positive. However, this approach may not fully capture the multilingual nature of mLLMs, where language representations are distributional and mutually related. We propose Distribution-aware Language Neuron selection, which leverages pairwise relationships between per-language activation distributions over the full activation range, including negative values. Specifically, we quantify each neuron's language specificity by clustering languages using pairwise overlap coefficients between their activation distributions. Across two mLLMs and two held-out corpora, our identifier more effectively isolates language-specific causal effects, yielding up to 4.9$\times$ higher on-target language damage per neuron while preserving off-target language performance.