Attention Dispersion as a Diagnostic Signal for Hallucination in Large Language Models

📄 arXiv: 2609.18320v1 📥 PDF

作者: Shardul P. More, Tanuja S. Pawar

分类: cs.CL, cs.LG

发布日期: 2026-09-16

备注: 6 pages, 2 figures, 1 table

💡 一句话要点

提出注意力分散作为大型语言模型幻觉诊断信号

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 幻觉检测 注意力机制 数学推理 无监督学习

📋 核心要点

  1. 现有方法主要依赖输出置信度指标来检测幻觉，但这些指标常常受到误校准的影响，导致可靠性不足。
  2. 本文提出通过分析内部注意力机制的时间波动性，使用无监督的注意力分散度量来诊断幻觉现象。
  3. 在数学推理基准上，使用Qwen2.5模型系列进行实验，结果显示AUC提升显著，最高达+0.076，验证了方法的有效性。

📝 摘要（中文）

大型语言模型（LLMs）常常出现幻觉现象，这对复杂推理任务的可靠性构成重大障碍。传统的检测方法依赖于基于输出的置信度指标，但这些指标往往受到现代对齐技术的误校准。本文探讨了内部注意力机制的时间波动性，作为一种不依赖于输出校准的幻觉诊断信号。通过引入无监督的注意力分散度量，我们发现认知不确定性在中间层留下可测量的痕迹，其中注意力熵的峰值与推理崩溃相关。我们在数学推理基准（GSM8K和MATH-500）上评估了我们的方法，使用Qwen2.5模型系列（15亿和30亿参数），发现相较于基于输出的基线，在所有测试条件下AUC提升显著，最高可达+0.076。这些发现表明，注意力分散是传统幻觉检测方法的有希望的补充，值得在更广泛的模型系列和任务领域中进一步研究。

🔬 方法详解

问题定义：本文旨在解决大型语言模型中幻觉现象的检测问题，现有方法依赖于输出置信度，容易受到误校准的影响，导致检测效果不佳。

核心思路：提出通过分析模型内部的注意力机制波动，利用注意力分散度量作为幻觉的诊断信号，这一方法不依赖于输出的置信度校准。

技术框架：整体方法包括数据预处理、注意力分散度量计算和推理崩溃检测三个主要模块。首先，提取模型的中间层注意力权重，然后计算注意力熵，最后通过统计分析识别推理崩溃的时刻。

关键创新：最重要的创新在于引入了无监督的注意力分散度量，能够直接从模型内部获取信息，区别于传统依赖输出的检测方法。

关键设计：在注意力分散度量的计算中，设计了特定的熵计算方法，并在实验中使用了Qwen2.5模型系列的不同参数设置，以确保结果的可靠性和有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，使用注意力分散度量的检测方法在数学推理基准上相较于传统基线有显著提升，AUC提升幅度最高达到+0.076，表明该方法在幻觉检测中的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的安全性和可靠性提升，尤其是在复杂推理和决策支持系统中。通过有效检测幻觉现象，可以增强模型在实际应用中的可信度，推动其在医疗、金融等高风险领域的应用。未来，研究结果可能促使更多模型架构的改进和新的检测方法的开发。

📄 摘要（原文）

Large Language Models (LLMs) frequently exhibit hallucinations, presenting a major barrier to reliability in complex reasoning tasks. While traditional detection methods rely on output-based confidence metrics, these logits are often miscalibrated by modern alignment techniques. In this paper, we investigate the temporal volatility of internal attention mechanisms as an alternative diagnostic signal for hallucination that does not depend on output calibration. By introducing an unsupervised metric for attention dispersion, we show that epistemic uncertainty leaves a measurable trace within intermediate layers, where spikes in attention entropy are associated with reasoning breakdowns. We evaluate our approach on mathematical reasoning benchmarks (GSM8K and MATH-500) using the Qwen2.5 model family (1.5B and 3B parameters), finding statistically significant AUC improvements of up to +0.076 over output-based baselines across all tested conditions. These findings suggest that attention dispersion is a promising complement to traditional hallucination detection methods, requiring further investigation across broader model families and task domains.