Intra-neuronal attention within language models Relationships between activation and semantics

📄 arXiv: 2503.12992v1 📥 PDF

作者: Michael Pichat, William Pogrund, Paloma Pichat, Armanouche Gasparian, Samuel Demarchi, Corbet Alois Georgeon, Michael Veillet-Guillem

分类: cs.AI, cs.CL, q-bio.NC

发布日期: 2025-03-17

💡 一句话要点

研究语言模型神经元内部注意力机制，探索激活与语义的关联

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 语言模型 神经元注意力 语义表征 激活分析 可解释性

📋 核心要点

  1. 现有语言模型缺乏对神经元内部token级别语义表征的细粒度理解。
  2. 该研究探索神经元内部基于激活的注意力机制，以识别不同语义片段。
  3. 实验结果表明，神经元内部注意力与token激活水平存在一定关联。

📝 摘要（中文）

本研究旨在探索语言模型中感知器类型神经元执行神经元内部注意力的能力。具体而言，研究关注神经元能否基于特定激活区域的分割，识别其编码的合成思想类别中不同的同质类别片段，这些激活区域对应于神经元特别敏感的token。因此，本研究的目标是确定形式神经元在多大程度上能够在基于激活的分割和类别分割之间建立同态关系。结果表明，这种关系的存在是存在的，但很微弱，仅在具有非常高激活水平的token层面上成立。这种神经元内部的注意力随后能够在下一层神经元中实现类别重构过程，从而有助于逐步形成高级类别抽象。

🔬 方法详解

问题定义：现有语言模型通常将神经元视为黑盒，忽略了神经元内部不同token对激活的贡献差异。缺乏对神经元内部token级别语义表征的细粒度理解，限制了对模型内部机制的深入分析。该研究旨在揭示神经元内部的注意力机制，以及这种机制与token语义之间的关系。

核心思路：该研究的核心思路是假设神经元能够根据不同token的激活强度，对输入进行选择性关注，从而实现神经元内部的注意力机制。通过分析神经元对不同token的激活模式，可以推断神经元所编码的语义类别，并揭示激活与语义之间的关联。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择语言模型中的感知器类型神经元作为研究对象；2) 收集神经元对不同token的激活数据；3) 基于激活数据，对token进行分割，识别不同的同质类别片段；4) 分析激活分割与语义类别之间的同态关系；5) 评估神经元内部注意力机制对后续层神经元类别重构的影响。

关键创新：该研究的关键创新在于提出了神经元内部注意力的概念，并探索了这种注意力机制与token语义之间的关系。与以往将神经元视为黑盒的研究不同，该研究深入到神经元内部，揭示了神经元对不同token的选择性关注机制。

关键设计：该研究的关键设计包括：1) 选择感知器类型神经元作为研究对象，因为其结构简单，易于分析；2) 使用激活强度作为衡量神经元对token关注程度的指标；3) 采用聚类算法对token进行分割，识别不同的同质类别片段；4) 使用同态性分析方法，评估激活分割与语义类别之间的关联。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，神经元内部注意力与token激活水平存在一定关联，尤其是在高激活水平的token上。这表明神经元能够根据token的激活强度，对其进行选择性关注。此外，研究还发现神经元内部注意力能够影响后续层神经元的类别重构，从而促进高级类别抽象的形成。

🎯 应用场景

该研究成果可应用于提升语言模型的可解释性，帮助研究人员理解模型内部的决策过程。此外，该研究还可以为设计更高效的语言模型提供新的思路，例如，可以通过引入神经元内部注意力机制，增强模型对关键信息的关注能力，从而提高模型的性能。

📄 摘要（原文）

This study investigates the ability of perceptron-type neurons in language models to perform intra-neuronal attention; that is, to identify different homogeneous categorical segments within the synthetic thought category they encode, based on a segmentation of specific activation zones for the tokens to which they are particularly responsive. The objective of this work is therefore to determine to what extent formal neurons can establish a homomorphic relationship between activation-based and categorical segmentations. The results suggest the existence of such a relationship, albeit tenuous, only at the level of tokens with very high activation levels. This intra-neuronal attention subsequently enables categorical restructuring processes at the level of neurons in the following layer, thereby contributing to the progressive formation of high-level categorical abstractions.