When Do Hallucinations Arise? A Graph Perspective on the Evolution of Path Reuse and Path Compression
作者: Xinnan Dai, Kai Yang, Cheng Luo, Shenglai Zeng, Kai Guo, Jiliang Tang
分类: cs.AI
发布日期: 2026-04-07
💡 一句话要点
通过图视角分析LLM推理幻觉的产生机制：路径复用与路径压缩
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 推理幻觉 图搜索 路径复用 路径压缩 知识表示 模型训练
📋 核心要点
- 大型语言模型推理幻觉问题严重，现有方法缺乏对其产生机制的深入理解。
- 论文将语言模型推理过程建模为图搜索，分析了路径复用和路径压缩两种导致幻觉的机制。
- 该研究为理解和缓解LLM的推理幻觉问题提供了新的视角和理论基础。
📝 摘要（中文）
大型语言模型（LLM）中的推理幻觉通常表现为流畅但缺乏依据的结论，这些结论违反了给定的上下文或潜在的事实知识。尽管这种失败现象已被广泛观察到，但decoder-only Transformer产生这些幻觉的机制仍然知之甚少。本文将next-token预测建模为底层图上的图搜索过程，其中实体对应于节点，学习到的转换形成边。从这个角度来看，上下文推理是在采样的子图上的约束搜索（内在推理），而无上下文的查询依赖于底层图中的记忆结构（外在推理）。本文表明，推理幻觉源于两种基本机制： extbf{路径复用}，即记忆的知识在早期训练中覆盖了上下文约束；以及 extbf{路径压缩}，即频繁遍历的多步路径在后期训练中坍缩为快捷边。这些机制共同为LLM中的推理幻觉提供了一个统一的解释，并与下游应用中观察到的已知行为相关联。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLM）中推理幻觉的产生机制问题。现有的研究未能充分解释decoder-only Transformer模型为何会产生流畅但缺乏事实依据的结论，尤其是在违反上下文或已知事实的情况下。现有的方法缺乏对模型内部推理过程的细粒度理解，难以有效缓解幻觉问题。
核心思路：论文的核心思路是将LLM的next-token预测过程建模为一个在底层图上的图搜索问题。图中，实体（例如单词或短语）对应于节点，而模型学习到的token之间的转换则对应于边。通过分析在这个图上的搜索过程，可以揭示模型如何利用上下文信息（内在推理）以及记忆的知识（外在推理）来生成文本。幻觉的产生被归因于两种机制：路径复用和路径压缩。
技术框架：该研究的技术框架主要包括以下几个步骤：1) 将LLM的推理过程形式化为图搜索问题；2) 定义内在推理和外在推理的概念，分别对应于在采样子图上的约束搜索和在整个图上的搜索；3) 提出路径复用和路径压缩两种机制来解释幻觉的产生；4) 通过实验验证这些机制的存在以及它们与幻觉之间的关系。
关键创新：论文最重要的技术创新在于提出了路径复用和路径压缩这两种机制，并将其与LLM的推理幻觉联系起来。路径复用指的是在早期训练阶段，模型倾向于利用记忆的知识来生成文本，而忽略了上下文的约束。路径压缩指的是在后期训练阶段，模型会将频繁遍历的多步路径压缩为快捷边，从而导致模型在推理时跳过必要的中间步骤，产生幻觉。与现有方法相比，该研究提供了一个更细粒度、更具解释性的幻觉产生机制分析。
关键设计：论文的关键设计包括：1) 将LLM的推理过程建模为图搜索问题，这为分析模型内部的推理过程提供了一个新的视角；2) 区分内在推理和外在推理，有助于理解模型如何利用上下文信息和记忆的知识；3) 提出路径复用和路径压缩两种机制，并提供了实验证据来支持这些机制的存在。具体的参数设置、损失函数和网络结构等细节取决于所使用的LLM模型，论文主要关注的是对模型推理过程的抽象建模和机制分析。
🖼️ 关键图片
📊 实验亮点
论文通过理论分析和实验验证，揭示了路径复用和路径压缩是导致LLM推理幻觉的关键因素。研究表明，在早期训练阶段，模型更容易受到路径复用的影响，而在后期训练阶段，路径压缩会加剧幻觉的产生。这些发现为理解和缓解LLM的推理幻觉问题提供了重要的指导。
🎯 应用场景
该研究成果可应用于提升大型语言模型的可靠性和可信度，减少其在对话系统、文本生成、知识问答等应用场景中产生幻觉的可能性。通过理解幻觉产生的根本原因，可以设计更有效的训练方法和模型架构，从而提高LLM在实际应用中的性能和安全性。此外，该研究也为开发更具解释性的AI系统提供了理论基础。
📄 摘要（原文）
Reasoning hallucinations in large language models (LLMs) often appear as fluent yet unsupported conclusions that violate either the given context or underlying factual knowledge. Although such failures are widely observed, the mechanisms by which decoder-only Transformers produce them remain poorly understood. We model next-token prediction as a graph search process over an underlying graph, where entities correspond to nodes and learned transitions form edges. From this perspective, contextual reasoning is a constrained search over a sampled subgraph (intrinsic reasoning), while context-free queries rely on memorized structures in the underlying graph (extrinsic reasoning). We show that reasoning hallucinations arise from two fundamental mechanisms: \textbf{Path Reuse}, where memorized knowledge overrides contextual constraints during early training, and \textbf{Path Compression}, where frequently traversed multi-step paths collapse into shortcut edges in later training. Together, these mechanisms provide a unified explanation for reasoning hallucinations in LLMs and connected to well-known behaviors observed in downstream applications.