Hallucination Neurons and Where to Find Them: An Investigation into the existence of Hallucination Neurons

📄 arXiv: 2609.29781v1 📥 PDF

作者: Huseyin Cavus, Sebin Sabu, Joshua Spear, Jaskaran Singh Kawatra, Pavithra Rajendran

分类: cs.AI

发布日期: 2026-09-24

💡 一句话要点

提出五步诊断协议以解决稀疏神经元定位问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 稀疏神经元 可解释机器学习 大型语言模型 模型审计 行为引导 特征相关性 因果验证

📋 核心要点

  1. 现有稀疏探测方法在高维特征空间中存在失效模式，导致神经元定位的可靠性不足。
  2. 论文提出了一种五步诊断协议，系统性地评估稀疏神经元的检测和定位能力。
  3. 实验结果显示，Gemma 3 4B在多个数据集上超越了MedGemma 4B，AUROC差距显著，验证了方法的有效性。

📝 摘要（中文）

可解释的机器学习在大型语言模型（LLMs）中越来越依赖稀疏探测方法，这些方法识别出少量神经元，声称其能够检测和因果影响诸如事实回忆、安全对齐和幻觉等行为。尽管这些主张对模型审计和行为引导具有重要意义，但在相关的高维特征空间中，针对$L_1$正则化探测的已知失效模式的测试却很少。我们提出了一种五步诊断协议，涵盖特征相关性、引导稳定性、稀疏与密集排名不一致性、干预基线和跨数据集评估，作为稀疏神经元定位主张的最低标准。我们使用所提方法调查了先前的研究，特别是在TriviaQA、BioASQ和NQ-Open数据集上使用开放源代码的LLMs进行H-神经元的研究。结果显示，在模型和数据集之间的检测重复性，并且超出了TriviaQA和BioASQ数据集上原始报告的AUROC差距。

🔬 方法详解

问题定义：本论文旨在解决稀疏神经元定位的可靠性问题，现有方法在高维特征空间中容易出现失效，导致定位结果不准确。

核心思路：提出五步诊断协议，涵盖特征相关性、引导稳定性等方面，以系统性地验证稀疏神经元的检测和定位能力。

技术框架：整体流程包括特征相关性分析、引导稳定性测试、稀疏与密集排名比较、干预基线评估和跨数据集验证，确保结果的可靠性。

关键创新：最重要的创新在于提出了系统化的诊断协议，能够有效区分检测主张与定位主张，提升了可解释性研究的标准。

关键设计：在实验中，使用了多种随机种子进行因果验证，确保结果的统计显著性，同时对选择的神经元进行相关性分析，以评估其独特性和稳定性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Gemma 3 4B在TriviaQA和BioASQ数据集上分别取得了+0.311和+0.474的AUROC差距，相较于MedGemma 4B的+0.235和+0.455，表现显著优越。此外，因果验证结果在500个样本中显示出统计显著性，验证了所提方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的可解释性、模型审计和行为引导等。通过提高对神经元功能的理解，能够更好地优化模型性能，减少幻觉现象，提升用户体验。未来，该方法可能推动更广泛的可解释AI研究，促进透明和安全的AI系统开发。

📄 摘要（原文）

Interpretable machine learning for Large Language Models (LLMs) increasingly relies on sparse probing methods that identify small sets of neurons claimed to detect and causally influence behaviors such as factuality recall, safety alignment, and hallucination. These claims have important implications for model auditing and behavioral steering, yet they are rarely tested against known failure modes of $L_1$-regularized probing in correlated, high-dimensional feature spaces. We propose a five-step diagnostic protocol covering feature correlation, bootstrap stability, sparse versus dense ranking disagreement, intervention baselines, and cross-dataset evaluation as a minimum standard for sparse-neuron localization claims. We investigate prior work using our proposed approach, specifically on H-neurons using open-source LLMs across TriviaQA, BioASQ, and NQ-Open datasets. Our results demonstrate detection replicates across both models and datasets, and exceeds the original reported AUROC gaps for TriviaQA and BioASQ datasets. Gemma 3 4B consistently outperforms MedGemma 4B on matched datasets, with AUROC gaps of +0.311 versus +0.235 on TriviaQA, +0.474 versus +0.455 on BioASQ, and +0.128 versus +0.112 on NQ-Open respectively. Causal validation at $n = 500$ with five random seeds shows statistically significant effects beyond random same-layer baselines. At the same time, the diagnostic results indicate that the selected neurons are not uniquely localized. Across the three Gemma 3 4B settings, 19 of 22 selected H-Neurons have Pearson $|r| > 0.7$ with other features, bootstrap selections show only moderate stability, and sparse and dense rankings overlap only weakly. Our findings show that sparse predictive structure can coexist with non-unique neuron selection. Routine diagnostic validation is necessary to distinguish detection claims from localization claims in mechanistic interpretability.