KnowHalu: Hallucination Detection via Multi-Form Knowledge Based Factual Checking

📄 arXiv: 2404.02935v1 📥 PDF

作者: Jiawei Zhang, Chejian Xu, Yu Gai, Freddy Lecue, Dawn Song, Bo Li

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-04-03

💡 一句话要点

提出KnowHalu以解决大型语言模型生成文本中的幻觉检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 幻觉检测 大型语言模型 事实检查 多形式知识 推理机制 内容生成 智能问答 自动摘要

📋 核心要点

  1. 现有方法主要依赖LLMs的自一致性检查或事后事实检查，未能有效处理查询的复杂性和知识的形式，导致幻觉检测的准确性不足。
  2. KnowHalu提出了一个两阶段的幻觉检测流程，第一阶段识别与查询无关的幻觉，第二阶段通过多形式知识进行深入的事实检查。
  3. 实验结果显示，KnowHalu在问答和摘要任务中分别提高了15.65%和5.50%的检测准确率，展示了其在多任务环境下的优越性能。

📝 摘要（中文）

本文介绍了KnowHalu，一种新颖的方法用于检测大型语言模型（LLMs）生成文本中的幻觉，利用逐步推理、多形式查询、多形式知识进行事实检查，以及基于融合的检测机制。随着LLMs在各个领域的广泛应用，确保其输出不出现幻觉至关重要。KnowHalu提出了一个两阶段的幻觉检测过程，第一阶段识别非虚构幻觉，即虽然事实正确但与查询无关或不具体的响应。第二阶段的多形式事实检查包含五个关键步骤：推理与查询分解、知识检索、知识优化、判断生成和判断聚合。广泛的评估表明，KnowHalu在多种任务中显著优于现有的基线方法，例如在问答任务中提高了15.65%，在摘要任务中提高了5.50%，突显了其在检测LLM生成内容幻觉方面的有效性和多样性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型生成文本中的幻觉检测问题，现有方法往往忽视了查询的复杂性和知识形式，导致幻觉检测效果不佳。

核心思路：KnowHalu通过两阶段的检测流程，首先识别非虚构幻觉，然后利用多形式知识进行深入的事实检查，以提高检测的准确性和相关性。

技术框架：KnowHalu的整体架构包括两个主要阶段：第一阶段为非虚构幻觉识别，第二阶段为多形式事实检查，后者又细分为推理与查询分解、知识检索、知识优化、判断生成和判断聚合五个步骤。

关键创新：KnowHalu的创新在于其多形式知识的应用和逐步推理机制，这与现有方法的单一自一致性检查或简单的事后检查形成了鲜明对比。

关键设计：在技术细节上，KnowHalu设计了特定的查询分解策略和知识优化算法，以确保在多样化任务中保持高效的知识检索和准确的判断生成。

📊 实验亮点

KnowHalu在多种任务中表现出色，尤其在问答任务中提高了15.65%的检测准确率，在摘要任务中提高了5.50%。这些结果表明，KnowHalu在幻觉检测方面的有效性和灵活性，超越了现有的最先进基线。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、自动摘要生成和内容审核等，能够有效提高大型语言模型在实际应用中的可靠性和准确性。未来，KnowHalu可能在更多领域中推广应用，助力于构建更可信的AI系统。

📄 摘要（原文）

This paper introduces KnowHalu, a novel approach for detecting hallucinations in text generated by large language models (LLMs), utilizing step-wise reasoning, multi-formulation query, multi-form knowledge for factual checking, and fusion-based detection mechanism. As LLMs are increasingly applied across various domains, ensuring that their outputs are not hallucinated is critical. Recognizing the limitations of existing approaches that either rely on the self-consistency check of LLMs or perform post-hoc fact-checking without considering the complexity of queries or the form of knowledge, KnowHalu proposes a two-phase process for hallucination detection. In the first phase, it identifies non-fabrication hallucinations--responses that, while factually correct, are irrelevant or non-specific to the query. The second phase, multi-form based factual checking, contains five key steps: reasoning and query decomposition, knowledge retrieval, knowledge optimization, judgment generation, and judgment aggregation. Our extensive evaluations demonstrate that KnowHalu significantly outperforms SOTA baselines in detecting hallucinations across diverse tasks, e.g., improving by 15.65% in QA tasks and 5.50% in summarization tasks, highlighting its effectiveness and versatility in detecting hallucinations in LLM-generated content.