KEA Explain: Explanations of Hallucinations using Graph Kernel Analysis

📄 arXiv: 2507.03847v2 📥 PDF

作者: Reilly Haskins, Benjamin Adams

分类: cs.LG, cs.AI

发布日期: 2025-07-05 (更新: 2025-08-21)

💡 一句话要点

提出KEA Explain框架，利用图核分析解释大语言模型中的幻觉现象

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 幻觉检测 知识图谱 图核分析 神经符号 可解释性 对比解释

📋 核心要点

  1. 大型语言模型易产生幻觉，现有方法缺乏有效检测和解释机制，限制了其在高风险场景的应用。
  2. KEA Explain框架通过构建知识图并利用图核分析，对比LLM输出与真实数据，从而检测并解释幻觉。
  3. 实验表明，该框架在幻觉检测方面具有竞争力，并能生成对比解释，提升了LLM的透明性和可靠性。

📝 摘要（中文）

大型语言模型（LLMs）经常产生幻觉：即在语法上合理但缺乏事实依据的陈述。本研究提出了KEA（Kernel-Enriched AI）Explain：一个神经符号框架，通过比较从LLM输出构建的知识图与来自Wikidata或上下文文档的真实数据来检测和解释此类幻觉。该方法使用图核和语义聚类为检测到的幻觉提供解释，确保了鲁棒性和可解释性。我们的框架在开放和封闭领域任务中检测幻觉方面取得了具有竞争力的准确性，并且能够生成对比解释，从而增强了透明度。这项研究提高了LLM在高风险领域中的可靠性，并为未来在精度改进和多源知识集成方面的工作奠定了基础。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）中普遍存在的幻觉问题，即生成语法正确但与事实不符的内容。现有方法在检测和解释这些幻觉方面存在不足，缺乏鲁棒性和可解释性，难以应用于高风险领域。

核心思路：论文的核心思路是利用知识图谱来表示LLM的输出和真实世界的信息，然后通过比较这两个图谱来检测幻觉。具体来说，将LLM的输出和ground truth数据分别构建成知识图谱，并使用图核分析来衡量它们之间的相似度。如果两个图谱的差异很大，则表明LLM产生了幻觉。此外，通过分析图谱中的差异，可以提供对幻觉的解释。

技术框架：KEA Explain框架包含以下主要模块：1) 知识图谱构建：从LLM输出和ground truth数据（如Wikidata或上下文文档）中提取实体和关系，构建知识图谱。2) 图核分析：使用图核函数（如Random Walk Kernel）计算两个知识图谱之间的相似度。3) 幻觉检测：基于图核相似度，判断LLM是否产生了幻觉。4) 幻觉解释：通过语义聚类和对比分析，生成对幻觉的解释。

关键创新：该方法的主要创新在于将图核分析应用于LLM幻觉的检测和解释。与传统的基于文本匹配的方法相比，图核分析能够更好地捕捉语义信息和关系结构，从而更准确地检测幻觉。此外，该方法还能够生成对比解释，帮助用户理解幻觉产生的原因。

关键设计：框架的关键设计包括：1) 选择合适的图核函数，例如Random Walk Kernel，以有效衡量知识图谱之间的相似度。2) 使用语义聚类方法对知识图谱中的实体和关系进行分组，以便更好地理解幻觉的语义内容。3) 设计对比解释生成算法，突出LLM输出与ground truth之间的差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

KEA Explain框架在开放和封闭领域任务中均表现出竞争力的幻觉检测准确性。该框架能够生成对比解释，增强了LLM的透明度。实验结果表明，该方法在检测幻觉方面优于现有基线方法，并能够提供有意义的解释，有助于用户理解和纠正LLM的错误。

🎯 应用场景

该研究成果可应用于多个领域，包括但不限于：医疗诊断、金融分析、法律咨询等高风险领域，以提高LLM的可靠性和安全性。此外，该方法还可以用于评估和改进LLM的训练数据和模型架构，从而减少幻觉的产生。未来，该研究可以扩展到多源知识集成，从而更好地利用各种信息来源来检测和解释幻觉。

📄 摘要（原文）

Large Language Models (LLMs) frequently generate hallucinations: statements that are syntactically plausible but lack factual grounding. This research presents KEA (Kernel-Enriched AI) Explain: a neurosymbolic framework that detects and explains such hallucinations by comparing knowledge graphs constructed from LLM outputs with ground truth data from Wikidata or contextual documents. Using graph kernels and semantic clustering, the method provides explanations for detected hallucinations, ensuring both robustness and interpretability. Our framework achieves competitive accuracy in detecting hallucinations across both open- and closed-domain tasks, and is able to generate contrastive explanations, enhancing transparency. This research advances the reliability of LLMs in high-stakes domains and provides a foundation for future work on precision improvements and multi-source knowledge integration.