D-Score: A Spectral Hidden-State Signal for Hallucination Detection in Large Language Models
作者: Bianca Raimondi, Davide Evangelista, Maurizio Gabbrielli, Elena Loli Piccolomini
分类: cs.CL, cs.AI
发布日期: 2026-07-27
备注: Preprint. Under review
💡 一句话要点
提出D-Score以解决大型语言模型的幻觉检测问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 幻觉检测 大型语言模型 隐藏状态 谱统计 自然语言处理
📋 核心要点
- 现有大型语言模型在生成文本时可能会出现幻觉现象，导致生成的内容不真实或缺乏支持。
- 论文提出D-Score，通过分析隐藏激活的几何特征来检测幻觉，利用谱统计量来量化模型内部状态的矛盾信息。
- 实验结果显示，D-Score在FAVA-Annotation和RAGTruth数据集上表现优异，能够有效识别幻觉文本。
📝 摘要（中文）
大型语言模型能够生成流畅的文本，但这些文本可能是虚假的、缺乏证据支持或与模型内部信息不一致。本文研究了从隐藏激活几何结构中进行幻觉检测的方法，提出了D-Score，这是一种通过单次前向传播计算的简单谱统计量。D-Score计数隐藏激活矩阵中奇异值接近主奇异值的奇异方向数量，并将其作为幻觉评分。当D-Score超过预定义阈值时，输入文本被分类为幻觉。实验表明，D-Score在幻觉检测中表现出色，无需外部验证、检索步骤或多次生成。
🔬 方法详解
问题定义：本文旨在解决大型语言模型生成文本时的幻觉检测问题。现有方法通常依赖外部验证或多次生成，效率低且复杂。
核心思路：论文的核心思路是利用隐藏激活的几何特征，通过D-Score量化模型对输入文本的内部一致性，识别潜在的幻觉现象。
技术框架：整体架构包括单次前向传播计算隐藏激活矩阵，随后计算其奇异值并分析奇异方向的分布，以此生成D-Score。
关键创新：D-Score作为一种新的谱统计量，能够在不依赖外部信息的情况下，直接从模型的内部状态中提取幻觉信号，显著简化了检测过程。
关键设计：D-Score的计算依赖于固定的模型、层和容忍参数，具体的参数设置和阈值选择对检测效果有重要影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，D-Score在FAVA-Annotation和RAGTruth数据集上的幻觉检测性能显著优于现有基线方法，准确率和召回率均有明显提升，证明了其作为隐藏状态信号的有效性。
🎯 应用场景
该研究的潜在应用领域包括文本生成、对话系统和信息检索等，能够有效提高大型语言模型的可靠性和用户信任度。未来，D-Score有望在多种自然语言处理任务中推广应用，提升模型的整体性能。
📄 摘要（原文）
Large Language Models can produce fluent text that is false, unsupported by the available evidence, or inconsistent with information that appears to be internally represented by the model. We study hallucination detection from the geometry of hidden activations and introduce the D-Score, a simple spectral statistic computed from a single forward pass. For a fixed model, layer, and tolerance parameter, the D-Score counts how many singular directions of the hidden activation matrix have singular values that remain close to the leading one. We use this quantity as a hallucination score, classifying an input text as hallucinated when its D-Score is larger than a pre-defined quantity. The motivation is that, when a model processes a text that conflicts with information available in its own internal state, the hidden representation may encode both the asserted content and some form of counter-evidence, uncertainty, correction, or lack of support; this can make the hidden trajectory spread across additional singular directions. We formalize this intuition through a lightweight spectral argument and evaluate the resulting detector on FAVA-Annotation and RAGTruth. The experiments indicate that the D-Score is a strong hidden-state signal for hallucination detection, while requiring no external verifier, no retrieval step, and no multiple generations.