GraphEval: A Knowledge-Graph Based LLM Hallucination Evaluation Framework

📄 arXiv: 2407.10793v1 📥 PDF

作者: Hannah Sansford, Nicholas Richardson, Hermina Petric Maretic, Juba Nait Saada

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-07-15

备注: 12 pages, to be published at KiL'24: Workshop on Knowledge-infused Learning co-located with 30th ACM KDD Conference, August 26, 2024, Barcelona, Spain

💡 一句话要点

GraphEval：一种基于知识图谱的LLM幻觉评估框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 幻觉检测 知识图谱 自然语言推理 信息抽取

📋 核心要点

  1. 现有LLM幻觉检测方法缺乏可解释性，无法系统检查所有信息，且计算成本高昂，限制了实际应用。
  2. GraphEval将信息表示为知识图谱，通过识别易产生幻觉的三元组，定位幻觉发生的具体位置。
  3. GraphEval结合NLI模型，在幻觉基准测试中提升了平衡准确率，并提出了GraphCorrect方法进行幻觉纠正。

📝 摘要（中文）

针对大型语言模型（LLM）应用中日益重要的LLM响应评估问题，本文提出了一种基于知识图谱（KG）的幻觉评估框架GraphEval，旨在检测LLM生成内容中与给定知识不一致的幻觉现象。现有评估指标在提供可解释的决策、系统性地检查响应中的所有信息方面存在不足，且计算成本通常过高。GraphEval通过KG结构表示信息，能够识别KG中易于产生幻觉的特定三元组，从而提供比以往方法更深入的幻觉发生位置洞察。结合最先进的自然语言推理（NLI）模型，GraphEval在各种幻觉基准测试中实现了平衡准确率的提升。此外，本文还探索了利用KG结构进行幻觉纠正的方法GraphCorrect，并证明可以有效纠正大部分幻觉。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）生成内容中存在的幻觉问题，即生成与事实知识不符的信息。现有评估方法的痛点在于缺乏可解释性，难以定位幻觉发生的具体位置，并且计算复杂度较高，难以应用于大规模评估。

核心思路：论文的核心思路是将LLM的生成内容和参考知识都表示成知识图谱（KG）的形式，然后通过比较两个KG之间的差异来检测幻觉。这种方法能够提供更细粒度的幻觉定位，并利用KG的结构信息进行幻觉纠正。论文认为，通过结构化的知识表示，可以更有效地识别LLM生成内容中的不一致之处。

技术框架：GraphEval框架主要包含以下几个阶段：1) 将LLM的响应和参考知识分别转换为知识图谱（KG）。2) 使用自然语言推理（NLI）模型来比较响应KG中的每个三元组与参考KG中的对应信息，判断是否存在矛盾。3) 根据NLI的结果，识别出可能存在幻觉的三元组。4) (可选) 使用GraphCorrect方法，利用KG的结构信息来纠正幻觉。

关键创新：GraphEval的关键创新在于将知识图谱引入到LLM幻觉评估中，并提出了GraphCorrect方法进行幻觉纠正。与传统的基于文本匹配或NLI的幻觉检测方法相比，GraphEval能够提供更细粒度的幻觉定位和更强的可解释性。此外，GraphCorrect方法利用KG的结构信息，为幻觉纠正提供了一种新的思路。

关键设计：GraphEval的关键设计包括：1) 如何有效地将文本信息转换为知识图谱，包括实体识别和关系抽取。2) 如何选择合适的NLI模型来比较KG中的三元组，并设置合适的阈值来判断是否存在矛盾。3) GraphCorrect方法中，如何利用KG的结构信息来找到可能的正确信息，并替换掉幻觉信息。具体参数设置和网络结构的选择取决于具体的应用场景和数据集。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，GraphEval在多个幻觉基准测试中，结合NLI模型后，平衡准确率优于直接使用NLI模型。此外，GraphCorrect方法能够有效纠正大部分幻觉，验证了利用KG结构进行幻觉纠正的可行性。具体性能提升幅度取决于数据集和NLI模型的选择，但整体趋势表明GraphEval具有显著优势。

🎯 应用场景

GraphEval可应用于各种需要评估LLM生成内容真实性的场景，例如问答系统、对话机器人、内容生成平台等。该研究有助于提高LLM应用的可靠性和可信度，减少错误信息的传播，并为LLM的幻觉问题提供更深入的理解和解决方案。

📄 摘要（原文）

Methods to evaluate Large Language Model (LLM) responses and detect inconsistencies, also known as hallucinations, with respect to the provided knowledge, are becoming increasingly important for LLM applications. Current metrics fall short in their ability to provide explainable decisions, systematically check all pieces of information in the response, and are often too computationally expensive to be used in practice. We present GraphEval: a hallucination evaluation framework based on representing information in Knowledge Graph (KG) structures. Our method identifies the specific triples in the KG that are prone to hallucinations and hence provides more insight into where in the response a hallucination has occurred, if at all, than previous methods. Furthermore, using our approach in conjunction with state-of-the-art natural language inference (NLI) models leads to an improvement in balanced accuracy on various hallucination benchmarks, compared to using the raw NLI models. Lastly, we explore the use of GraphEval for hallucination correction by leveraging the structure of the KG, a method we name GraphCorrect, and demonstrate that the majority of hallucinations can indeed be rectified.