External Observers May See More Clearly: Cross-Model Span-Level Hallucination Detection in Large Language Models via Hidden State Probing
作者: Kingshuk Gupta, Davide Buscaldi
分类: cs.AI
发布日期: 2026-10-01
备注: 12 pages, 2 figures, 9 tables
💡 一句话要点
提出跨模型的隐状态探测框架以解决大语言模型的幻觉检测问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 幻觉检测 大型语言模型 隐状态探测 跨模型检测 精确率-召回率 语义漂移 深度学习
📋 核心要点
- 现有的幻觉检测方法主要集中在逐词的二元分类，无法有效捕捉语义漂移的结构性特征。
- 本文提出了一种内部隐状态框架，通过层级激活模式实现细粒度的跨度级幻觉检测。
- 实验结果显示，该方法在精确率-召回率AUC上显著优于随机基线，且外部观察者的检测能力超出生成者自我检测。
📝 摘要（中文）
随着大型语言模型（LLMs）逐渐成为基础推理引擎，其幻觉现象仍然是一个关键的脆弱性。尽管近期的内部状态探测提供了一个有前景的替代方案，但大多数方法将幻觉检测简化为逐词的二元分类任务，未能捕捉语义漂移的结构性和顺序边界。本文提出了一种内部隐状态框架，用于细粒度的跨度级幻觉检测。通过检查层级激活模式，我们试图检测LLM生成中的幻觉开始和持续的标记。实验表明，该方法在精确率-召回率AUC上显著优于随机基线，尽管存在极端的类别不平衡。最终，我们提出了一种新颖的跨模型检测框架，其中一个模型观察另一个模型生成的内部表示，发现外部观察者能够匹配或超越生成者自我检测其幻觉开始的能力。
🔬 方法详解
问题定义：本文旨在解决大型语言模型生成中的幻觉检测问题。现有方法多将检测简化为逐词的二元分类，未能有效捕捉语义漂移的结构性特征，导致检测效果不佳。
核心思路：论文提出通过内部隐状态探测框架，利用层级激活模式进行细粒度的幻觉检测，能够更准确地识别幻觉的开始和持续标记。
技术框架：整体架构包括数据预处理、层级激活模式提取、幻觉检测算法和结果评估四个主要模块。通过对模型内部状态的探测，识别出幻觉的具体位置。
关键创新：最重要的技术创新点在于提出了跨模型的检测框架，使得一个模型能够观察另一个模型的内部表示，从而提升幻觉检测的准确性。与现有方法相比，该方法能够更好地捕捉幻觉的结构性特征。
关键设计：在设计中，采用了多层次的激活模式分析，结合特定的损失函数来优化检测效果，确保模型在极端类别不平衡的情况下仍能保持较高的检测精度。具体参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的方法在精确率-召回率AUC上显著优于随机基线，尤其是在极端类别不平衡的情况下，外部观察者的检测能力能够匹配或超越生成者自我检测的能力，表明该方法的有效性和创新性。
🎯 应用场景
该研究的潜在应用领域包括智能对话系统、自动文本生成和内容审核等。通过提高幻觉检测的准确性，可以显著提升大型语言模型在实际应用中的可靠性和安全性，减少误导性信息的传播，具有重要的社会价值和实际意义。
📄 摘要（原文）
As Large Language Models (LLMs) increasingly serve as foundational reasoning engines, their tendency to hallucinate remains a critical vulnerability. While recent internal state probes offer a promising alternative to slow external retrieval systems, they largely reduce hallucination detection to a token-wise binary classification task, failing to capture the structured, sequential boundaries of semantic drift. Here, we introduce an internal hidden state framework for fine-grained, span-level hallucination detection. By inspecting layer-wise activation patterns, we attempt to detect the exact hallucination onset and continuation tokens in an LLM generation. Our experiments show that this approach successfully isolates hallucination onsets, achieving substantial improvements in Precision-Recall AUC over random baselines despite extreme class imbalance. Ultimately, we propose a novel cross-model detection framework in which one model observes the internal representations elicited by another model's generation. We find that an external observer can match or exceed a generator's self-detection of its own hallucination onsets, including when the observer is the smaller model, suggesting that self-detection is not the ceiling for onset localisation.