Black-Box Hallucination Detection via Consistency Under the Uncertain Expression

📄 arXiv: 2509.21999v1 📥 PDF

作者: Seongho Joo, Kyungmin Min, Jahyun Koo, Kyomin Jung

分类: cs.CL, cs.AI

发布日期: 2025-09-26

💡 一句话要点

提出基于不确定性表达一致性的黑盒方法，用于检测大型语言模型中的幻觉问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 幻觉检测 黑盒方法 不确定性表达 一致性 自然语言处理

📋 核心要点

  1. 大型语言模型易产生“幻觉”，现有检测方法依赖外部资源或模型内部状态，可用性受限。
  2. 该论文提出一种黑盒幻觉检测指标，核心思想是利用LLM在不确定性表达下响应的一致性。
  3. 实验结果表明，该指标比依赖LLM内部知识的基线方法，更能有效预测模型响应的真实性。

📝 摘要（中文）

近年来，大型语言模型（LLMs）取得了显著进展，但同时也存在生成不真实信息的“幻觉”问题。现有的幻觉检测和缓解方法通常需要外部资源或LLMs的内部状态，例如每个token的输出概率。然而，考虑到LLMs受限的外部API可用性和外部资源的有限范围，迫切需要建立一种黑盒方法，作为有效幻觉检测的基石。本文通过研究LLMs在不确定性表达下的行为，提出了一种简单的黑盒幻觉检测指标。我们的综合分析表明，LLMs在给出事实性回答时会产生一致的响应，反之则会产生不一致的响应。基于此分析，我们提出了一种基于不确定性表达的高效黑盒幻觉检测指标。实验表明，与使用LLMs内部知识的基线方法相比，我们的指标更能预测模型响应的真实性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）中普遍存在的“幻觉”问题，即生成不真实或不符合事实的响应。现有方法通常依赖于外部知识库或LLMs的内部信息（如token概率），这限制了其应用范围，尤其是在API访问受限的黑盒场景下。因此，需要一种无需访问内部信息，仅通过输入输出即可判断LLM是否产生幻觉的方法。

核心思路：论文的核心思路是观察LLM在表达不确定性时的行为。作者发现，当LLM给出基于事实的回答时，即使在被要求表达不确定性（例如，“你确定吗？”）的情况下，其回答仍然保持一致。相反，当LLM产生幻觉时，其在不确定性表达下的回答往往不一致。这种一致性/不一致性可以作为判断LLM是否产生幻觉的指标。

技术框架：该方法无需访问LLM内部信息，属于黑盒方法。其主要流程如下：1. 给定一个LLM的初始回答。2. 通过提问的方式，诱导LLM表达不确定性（例如，增加提问：“你确定吗？”、“你有多确定？”）。3. 比较LLM在不同不确定性表达下的回答。4. 基于回答的一致性程度，判断LLM是否产生了幻觉。一致性越高，则认为初始回答越可能基于事实；一致性越低，则认为初始回答越可能为幻觉。

关键创新：该方法最重要的创新在于其利用了LLM在不确定性表达下的响应一致性作为幻觉检测的指标。与传统方法相比，该方法无需访问LLM内部信息或外部知识库，具有更广泛的适用性。此外，该方法简单有效，易于实现和部署。

关键设计：关键设计在于如何有效地诱导LLM表达不确定性，以及如何量化回答的一致性。诱导不确定性表达可以通过在原始问题后追加类似“你确定吗？”、“你有多确定？”等问题来实现。回答一致性的量化可以通过计算不同回答之间的相似度（例如，使用文本相似度算法）来实现。具体的相似度阈值需要根据实际情况进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在幻觉检测方面优于现有的基线方法，尤其是在黑盒场景下。与依赖LLM内部知识的基线方法相比，该方法能够更准确地预测模型响应的真实性。具体的性能提升幅度取决于数据集和LLM，但总体趋势表明该方法具有显著的优势。

🎯 应用场景

该研究成果可广泛应用于各种需要使用大型语言模型的场景，例如智能客服、问答系统、内容生成等。通过有效检测和减少LLM的幻觉问题，可以提高这些系统的可靠性和用户体验。此外，该方法作为一种黑盒方法，具有很强的通用性和可移植性，可以应用于各种不同的LLM，无需进行模型特定的调整。

📄 摘要（原文）

Despite the great advancement of Language modeling in recent days, Large Language Models (LLMs) such as GPT3 are notorious for generating non-factual responses, so-called "hallucination" problems. Existing methods for detecting and alleviating this hallucination problem require external resources or the internal state of LLMs, such as the output probability of each token. Given the LLM's restricted external API availability and the limited scope of external resources, there is an urgent demand to establish the Black-Box approach as the cornerstone for effective hallucination detection. In this work, we propose a simple black-box hallucination detection metric after the investigation of the behavior of LLMs under expression of uncertainty. Our comprehensive analysis reveals that LLMs generate consistent responses when they present factual responses while non-consistent responses vice versa. Based on the analysis, we propose an efficient black-box hallucination detection metric with the expression of uncertainty. The experiment demonstrates that our metric is more predictive of the factuality in model responses than baselines that use internal knowledge of LLMs.