Two Pathways to Truthfulness: On the Intrinsic Encoding of LLM Hallucinations

📄 arXiv: 2601.07422v1 📥 PDF

作者: Wen Luo, Guangyue Peng, Wei Li, Shaohang Wei, Feifan Song, Liang Wang, Nan Yang, Xingxing Zhang, Jing Jin, Furu Wei, Houfeng Wang

分类: cs.CL, cs.AI

发布日期: 2026-01-12

💡 一句话要点

揭示LLM幻觉的内在编码机制：问题锚定与答案锚定双路径

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 幻觉检测 真实性编码 注意力机制 知识边界

📋 核心要点

  1. LLM虽然强大，但其幻觉问题严重限制了其可靠性，理解幻觉产生的内在机制至关重要。
  2. 论文提出问题锚定和答案锚定两种信息路径，解释了LLM内部如何编码真实性信号。
  3. 通过实验验证了两种路径的存在，并基于此提出了两种应用，提升了幻觉检测性能。

📝 摘要（中文）

大型语言模型(LLM)虽然能力强大，但经常产生幻觉。以往研究表明，LLM的内部状态编码了丰富的真实性信号，但这些信号的来源和机制尚不清楚。本文证明，真实性线索源于两种不同的信息路径：(1)依赖于问题-答案信息流的问题锚定路径，以及(2)从生成的答案本身提取独立证据的答案锚定路径。首先，我们通过注意力剔除和token修补验证并解耦了这些路径。然后，我们揭示了这两种机制的显著且有趣的特性。进一步的实验表明，(1)这两种机制与LLM的知识边界密切相关；(2)内部表征能够感知到它们之间的区别。最后，基于这些深刻的发现，提出了两种应用来提高幻觉检测性能。总的来说，我们的工作为LLM如何在内部编码真实性提供了新的见解，为更可靠和具有自我意识的生成系统提供了方向。

🔬 方法详解

问题定义：大型语言模型（LLM）在生成文本时，经常出现与事实不符的“幻觉”现象。现有的幻觉检测方法通常依赖于外部知识库或人工标注，成本高昂且效率低下。论文旨在深入理解LLM内部编码真实性的机制，从而为更有效的幻觉检测和缓解提供理论基础。现有方法缺乏对LLM内部运作机制的理解，难以有效解决幻觉问题。

核心思路：论文的核心思路是揭示LLM内部存在两种独立的真实性编码路径：问题锚定路径和答案锚定路径。问题锚定路径依赖于问题-答案的信息流，而答案锚定路径则从生成的答案本身提取证据。通过解耦和分析这两种路径，可以更好地理解LLM如何判断答案的真实性。这种双路径的视角为理解LLM的幻觉现象提供了新的思路。

技术框架：论文的技术框架主要包括以下几个步骤：1) 通过注意力剔除（Attention Knockout）和token修补（Token Patching）等方法，验证并解耦问题锚定和答案锚定路径。2) 分析这两种路径的特性，例如它们与LLM知识边界的关系。3) 研究LLM内部表征如何区分这两种路径。4) 基于以上发现，提出两种应用来提高幻觉检测性能。整体流程是从实验验证到理论分析，再到应用落地的过程。

关键创新：论文最重要的技术创新点在于发现了LLM内部存在两种独立的真实性编码路径，并证明了它们的存在和作用。与以往研究只关注外部知识或单一信息源不同，论文深入挖掘了LLM内部的复杂机制，为理解和解决幻觉问题提供了新的视角。这种双路径的视角是理解LLM幻觉现象的关键。

关键设计：在实验设计方面，论文使用了注意力剔除和token修补等技术来干扰和控制信息流，从而验证两种路径的独立性。在应用方面，论文基于对两种路径的理解，设计了新的幻觉检测方法。具体的参数设置、损失函数和网络结构等细节在论文中进行了详细描述，但此处不一一列举。

📊 实验亮点

论文通过实验验证了问题锚定和答案锚定两种路径的存在，并发现它们与LLM的知识边界密切相关。基于这些发现，提出的两种幻觉检测方法在性能上优于现有基线方法，具体提升幅度在论文中有详细数据。

🎯 应用场景

该研究成果可应用于提升LLM生成内容的可靠性和可信度，例如在智能客服、内容创作、信息检索等领域。通过更准确地检测和抑制幻觉，可以提高用户体验，降低错误信息传播的风险。未来，该研究有望推动开发更安全、更可靠的生成式人工智能系统。

📄 摘要（原文）

Despite their impressive capabilities, large language models (LLMs) frequently generate hallucinations. Previous work shows that their internal states encode rich signals of truthfulness, yet the origins and mechanisms of these signals remain unclear. In this paper, we demonstrate that truthfulness cues arise from two distinct information pathways: (1) a Question-Anchored pathway that depends on question-answer information flow, and (2) an Answer-Anchored pathway that derives self-contained evidence from the generated answer itself. First, we validate and disentangle these pathways through attention knockout and token patching. Afterwards, we uncover notable and intriguing properties of these two mechanisms. Further experiments reveal that (1) the two mechanisms are closely associated with LLM knowledge boundaries; and (2) internal representations are aware of their distinctions. Finally, building on these insightful findings, two applications are proposed to enhance hallucination detection performance. Overall, our work provides new insight into how LLMs internally encode truthfulness, offering directions for more reliable and self-aware generative systems.