Language Models Hallucinate, but May Excel at Fact Verification

📄 arXiv: 2310.14564v2 📥 PDF

作者: Jian Guan, Jesse Dodge, David Wadden, Minlie Huang, Hao Peng

分类: cs.CL

发布日期: 2023-10-23 (更新: 2024-03-21)

备注: Accepted in NAACL 2024

💡 一句话要点

提出语言模型作为有效事实验证工具以解决虚假信息问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 事实验证 虚假信息 自然语言处理 模型评估

📋 核心要点

  1. 现有大型语言模型（LLMs）在生成内容时常常出现幻觉现象，导致输出的事实准确性低下。
  2. 论文提出将LLMs重新利用为事实验证工具，通过系统性研究验证其与人类判断的相关性。
  3. 实验结果显示，FLAN-T5-11B在事实验证任务中表现最佳，超越了其他更强大的模型，提供了新的研究方向。

📝 摘要（中文）

近年来，自然语言处理领域的进展得益于大型语言模型（LLMs）的显著提升。然而，这些模型常常出现“幻觉”现象，导致输出不准确的事实。我们的研究通过精心设计的人类评估，证实了这一严重问题，发现即使是GPT-3.5，其生成的事实输出也不足25%。这强调了事实验证工具的重要性，以衡量和激励进展。我们的系统性研究表明，LLMs可以被重新利用为有效的事实验证工具，并与人类判断高度相关。令人惊讶的是，在我们的研究中，FLAN-T5-11B作为最不准确的生成模型，在事实验证方面表现最佳，甚至超越了更强大的模型如GPT-3.5和ChatGPT。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在生成内容时的事实准确性问题。现有方法未能有效应对模型输出中的虚假信息，导致用户对生成内容的信任度降低。

核心思路：论文的核心思路是将LLMs转变为事实验证工具，通过系统评估其与人类判断的一致性，探索其在事实验证任务中的潜力。

技术框架：研究采用了系统性的人类评估方法，分析了不同LLMs在事实验证中的表现，包括FLAN-T5-11B、GPT-3.5和ChatGPT等模型。主要模块包括数据收集、模型评估和结果分析。

关键创新：最重要的技术创新在于发现FLAN-T5-11B在事实验证任务中表现优于其他更强大的模型，这一发现挑战了传统对模型能力的认知。

关键设计：研究中使用了高质量的证据作为输入，评估模型的鲁棒性和泛化能力，设计了特定的评估指标来量化模型的事实验证能力。实验中还考虑了不同模型的参数设置和损失函数设计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FLAN-T5-11B在事实验证任务中表现最佳，其准确性超过了25%，显著优于GPT-3.5和ChatGPT。这一发现表明，LLMs在事实验证方面的潜力被低估，为未来的研究提供了新的方向。

🎯 应用场景

该研究的潜在应用场景包括新闻验证、社交媒体内容审核和学术研究等领域。通过将LLMs作为事实验证工具，可以提高信息传播的准确性，减少虚假信息的影响，促进更可信的内容生成。未来，该研究可能推动更高效的事实验证系统的开发，提升公众对信息的信任度。

📄 摘要（原文）

Recent progress in natural language processing (NLP) owes much to remarkable advances in large language models (LLMs). Nevertheless, LLMs frequently "hallucinate," resulting in non-factual outputs. Our carefully-designed human evaluation substantiates the serious hallucination issue, revealing that even GPT-3.5 produces factual outputs less than 25% of the time. This underscores the importance of fact verifiers in order to measure and incentivize progress. Our systematic investigation affirms that LLMs can be repurposed as effective fact verifiers with strong correlations with human judgments. Surprisingly, FLAN-T5-11B, the least factual generator in our study, performs the best as a fact verifier, even outperforming more capable LLMs like GPT3.5 and ChatGPT. Delving deeper, we analyze the reliance of these LLMs on high-quality evidence, as well as their deficiencies in robustness and generalization ability. Our study presents insights for developing trustworthy generation models.