Medico: Towards Hallucination Detection and Correction with Multi-source Evidence Fusion

📄 arXiv: 2410.10408v1 📥 PDF

作者: Xinping Zhao, Jindi Yu, Zhenyu Liu, Jifang Wang, Dongfang Li, Yibin Chen, Baotian Hu, Min Zhang

分类: cs.CL, cs.IR

发布日期: 2024-10-14

备注: 12 pages, 3 figures, 6 tables. Accepted by EMNLP 2024's demo track

💡 一句话要点

Medico：融合多源证据的大语言模型幻觉检测与纠正框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 幻觉检测 幻觉纠正 多源证据融合 知识检索

📋 核心要点

  1. 大语言模型容易产生幻觉，即生成看似合理但与事实不符的内容，严重限制了其应用。
  2. Medico框架通过融合多源证据，检测LLM生成内容中的事实错误，并提供修正建议。
  3. 实验表明，Medico在证据检索、幻觉检测和纠正方面均表现出色，验证了其有效性。

📝 摘要（中文）

大语言模型（LLMs）中普遍存在幻觉问题，即生成的内容连贯但事实不正确，这严重阻碍了LLMs的广泛应用。以往研究表明，LLMs更倾向于自信地陈述不存在的事实，而不是回答“我不知道”。因此，需要借助外部知识来检测和纠正幻觉内容。由于手动检测和纠正事实错误非常耗费人力，因此开发一种自动端到端的幻觉检查方法非常必要。为此，我们提出了Medico，一个多源证据融合增强的幻觉检测和纠正框架。它融合来自多个来源的多样化证据，检测生成的内容是否包含事实错误，提供判断背后的理由，并迭代地修改幻觉内容。在证据检索（0.964 HR@5, 0.908 MRR@5）、幻觉检测（0.927-0.951 F1）和幻觉纠正（0.973-0.979 通过率）上的实验结果表明了Medico的巨大潜力。

🔬 方法详解

问题定义：论文旨在解决大语言模型（LLMs）中普遍存在的幻觉问题，即生成内容在语法上连贯，但包含不准确或虚假的事实。现有方法依赖人工检查，效率低下且成本高昂，缺乏自动化的端到端解决方案。

核心思路：Medico的核心思路是利用外部知识来验证LLM生成内容的真实性，通过融合来自多个来源的证据，提高检测和纠正幻觉的准确性和可靠性。该方法模拟了人类查阅资料、验证信息的认知过程。

技术框架：Medico框架包含以下主要模块：1) 证据检索：从多个知识源检索与生成内容相关的证据；2) 幻觉检测：基于检索到的证据，判断生成内容是否存在事实错误；3) 理由生成：为检测结果提供解释和依据；4) 幻觉纠正：根据证据修改生成内容，消除幻觉。整个过程迭代进行，逐步完善生成内容的准确性。

关键创新：Medico的关键创新在于多源证据融合机制，它能够综合利用来自不同来源的信息，提高幻觉检测的准确性和鲁棒性。此外，Medico还能够生成判断理由，增强了模型的可解释性。

关键设计：具体的参数设置、损失函数和网络结构等技术细节在论文中未详细描述，属于未知信息。但整体框架强调证据检索的质量和融合策略，以及迭代修正的过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Medico在证据检索方面取得了0.964的HR@5和0.908的MRR@5，在幻觉检测方面F1值达到0.927-0.951，在幻觉纠正方面通过率达到0.973-0.979。这些结果表明，Medico在各项任务上均表现出色，显著优于现有方法，证明了其有效性。

🎯 应用场景

Medico框架可应用于各种需要事实准确性的LLM应用场景，例如：医疗诊断、新闻生成、问答系统等。通过自动检测和纠正LLM的幻觉，可以提高生成内容的质量和可信度，降低错误信息带来的风险。未来，该技术有望促进LLM在更广泛领域的应用，并提升人机交互的可靠性。

📄 摘要（原文）

As we all know, hallucinations prevail in Large Language Models (LLMs), where the generated content is coherent but factually incorrect, which inflicts a heavy blow on the widespread application of LLMs. Previous studies have shown that LLMs could confidently state non-existent facts rather than answering ``I don't know''. Therefore, it is necessary to resort to external knowledge to detect and correct the hallucinated content. Since manual detection and correction of factual errors is labor-intensive, developing an automatic end-to-end hallucination-checking approach is indeed a needful thing. To this end, we present Medico, a Multi-source evidence fusion enhanced hallucination detection and correction framework. It fuses diverse evidence from multiple sources, detects whether the generated content contains factual errors, provides the rationale behind the judgment, and iteratively revises the hallucinated content. Experimental results on evidence retrieval (0.964 HR@5, 0.908 MRR@5), hallucination detection (0.927-0.951 F1), and hallucination correction (0.973-0.979 approval rate) manifest the great potential of Medico. A video demo of Medico can be found at https://youtu.be/RtsO6CSesBI.