Cross-Layer Attention Probing for Fine-Grained Hallucination Detection

📄 arXiv: 2509.09700v1 📥 PDF

作者: Malavika Suresh, Rahaf Aljundi, Ikechukwu Nkisi-Orji, Nirmalie Wiratunga

分类: cs.CL, cs.AI

发布日期: 2025-09-04

备注: To be published at the TRUST-AI workshop, ECAI 2025

💡 一句话要点

提出跨层注意力探测(CLAP)技术，用于细粒度地检测大型语言模型中的幻觉现象。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 幻觉检测 跨层注意力 激活探测 可靠性评估

📋 核心要点

  1. 大型语言模型易产生幻觉，现有方法难以细粒度区分不同采样响应中的幻觉与非幻觉。
  2. 论文提出跨层注意力探测(CLAP)技术，将LLM的整个残差流激活作为联合序列处理，用于幻觉检测。
  3. 实验表明，CLAP在不同LLM和任务上均优于基线，并可用于检测-然后-缓解策略，提高LLM可靠性。

📝 摘要（中文）

随着大型语言模型(LLMs)在各种应用中的大规模采用，由于它们倾向于生成不准确的文本，即幻觉，因此可靠性问题日益严重。本文提出了一种新颖的激活探测技术——跨层注意力探测(CLAP)，用于幻觉检测，它将整个残差流中的LLM激活作为联合序列进行处理。使用五个LLM和三个任务的经验评估表明，与基线方法相比，CLAP提高了幻觉检测的性能，无论是在贪婪解码的响应还是在较高温度下采样的响应中，从而实现了细粒度的检测，即区分给定提示的不同采样响应中的幻觉和非幻觉的能力。这使得我们能够提出一种使用CLAP的检测-然后-缓解策略，以减少幻觉并提高LLM的可靠性，优于直接缓解方法。最后，我们表明，即使在分布外应用时，CLAP也能保持较高的可靠性。

🔬 方法详解

问题定义：大型语言模型（LLMs）在生成文本时，存在产生不准确或虚假信息的“幻觉”问题。现有的幻觉检测方法通常不够精细，难以区分同一提示下不同采样响应中的幻觉和非幻觉部分，也难以在分布外数据上保持可靠性。

核心思路：论文的核心思路是将LLM的整个残差流中的激活信息作为一个整体序列进行分析，利用跨层注意力机制来捕捉不同层之间的关联性，从而更准确地判断文本中是否存在幻觉。通过探测不同层的激活，可以更全面地了解模型生成文本的过程，从而更有效地检测幻觉。

技术框架：CLAP (Cross-Layer Attention Probing) 的整体框架包括以下几个主要步骤：1) 给定一个提示和LLM生成的响应；2) 提取LLM的每一层的激活值，构成一个跨层的激活序列；3) 将该激活序列输入到一个注意力模型中，该模型学习不同层之间的关联性；4) 使用注意力模型的输出，预测响应中是否存在幻觉。该框架可以用于检测单个响应中的幻觉，也可以用于区分同一提示下不同采样响应中的幻觉和非幻觉。

关键创新：CLAP的关键创新在于其跨层注意力机制，它能够捕捉LLM不同层之间的复杂关联性，从而更准确地检测幻觉。与传统的激活探测方法相比，CLAP不是孤立地分析每一层的激活，而是将它们作为一个整体进行考虑，从而能够更好地理解模型生成文本的过程。此外，CLAP还提出了一种检测-然后-缓解的策略，可以有效地减少LLM中的幻觉。

关键设计：CLAP的关键设计包括：1) 使用Transformer架构来实现跨层注意力机制；2) 设计合适的损失函数来训练注意力模型，例如使用交叉熵损失函数来预测响应中是否存在幻觉；3) 采用适当的正则化方法来防止过拟合，例如使用dropout或权重衰减；4) 实验中使用了多个LLM（例如LLaMA、GPT）和多个任务（例如问答、文本摘要）来评估CLAP的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CLAP在多个LLM和任务上均优于基线方法，能够更准确地检测幻觉，并区分同一提示下不同采样响应中的幻觉和非幻觉。例如，在某些任务上，CLAP可以将幻觉检测的准确率提高5%-10%。此外，实验还表明，CLAP在分布外数据上也能保持较高的可靠性，这表明该方法具有较强的泛化能力。

🎯 应用场景

该研究成果可应用于各种需要高可靠性的大型语言模型应用场景，例如智能客服、医疗诊断、金融分析等。通过检测并缓解LLM中的幻觉，可以提高这些应用的准确性和可靠性，避免因错误信息而造成的损失。此外，该技术还可以用于评估不同LLM的可靠性，为用户选择合适的模型提供参考。

📄 摘要（原文）

With the large-scale adoption of Large Language Models (LLMs) in various applications, there is a growing reliability concern due to their tendency to generate inaccurate text, i.e. hallucinations. In this work, we propose Cross-Layer Attention Probing (CLAP), a novel activation probing technique for hallucination detection, which processes the LLM activations across the entire residual stream as a joint sequence. Our empirical evaluations using five LLMs and three tasks show that CLAP improves hallucination detection compared to baselines on both greedy decoded responses as well as responses sampled at higher temperatures, thus enabling fine-grained detection, i.e. the ability to disambiguate hallucinations and non-hallucinations among different sampled responses to a given prompt. This allows us to propose a detect-then-mitigate strategy using CLAP to reduce hallucinations and improve LLM reliability compared to direct mitigation approaches. Finally, we show that CLAP maintains high reliability even when applied out-of-distribution.