Don't Believe Everything You Read: Enhancing Summarization Interpretability through Automatic Identification of Hallucinations in Large Language Models

📄 arXiv: 2312.14346v2 📥 PDF

作者: Priyesh Vakharia, Devavrat Joshi, Meenal Chavan, Dhananjay Sonawane, Bhrigu Garg, Parsa Mazaheri

分类: cs.CL, cs.AI

发布日期: 2023-12-22 (更新: 2024-04-03)

备注: All authors contributed equally to this work

💡 一句话要点

提出一种token级别幻觉识别方法，提升LLM在对话摘要任务中的可解释性和忠实度。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 幻觉识别 文本摘要 可解释性 忠实度

📋 核心要点

  1. 现有方法在对抗LLM幻觉时，主要集中于识别幻觉语句和分类幻觉类型，缺乏细粒度的token级别分析。
  2. 论文提出token级别的幻觉识别方法，通过标记不同类型的幻觉token，提升LLM摘要结果的可解释性和忠实性。
  3. 论文构建了增强数据集并提出了新的训练范式，实验结果表明该方法能够有效提升对话摘要任务的性能。

📝 摘要（中文）

大型语言模型（LLMs）擅长文本处理，例如机器翻译和文本摘要。然而，这些模型也容易产生幻觉，这可能会损害模型提供的任何答案的忠实性。最近对抗LLM中幻觉的工作主要集中在识别幻觉语句和对模型产生幻觉的不同方式进行分类。本文深入研究了LLM在幻觉方面的行为，定义了一种token级别的幻觉识别方法，并进一步利用这种token级别的标记来提高LLM在对话摘要任务中的可解释性和忠实性。通过这种方式，本文提出了一个新的、增强的数据集和一个新的训练范式。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在文本摘要任务中产生幻觉的问题。现有方法通常只能识别出包含幻觉的句子，无法精确定位到具体的幻觉token，也无法区分不同类型的幻觉。这使得模型难以理解幻觉产生的原因，也难以有效地进行纠正。

核心思路：论文的核心思路是将幻觉识别问题分解为token级别的分类问题。通过对每个token进行标注，判断其是否为幻觉token，并进一步区分不同类型的幻觉。这种细粒度的分析可以帮助模型更好地理解幻觉的产生机制，从而更有效地抑制幻觉。

技术框架：论文的技术框架主要包括以下几个步骤：1) 构建增强数据集，对摘要文本中的每个token进行标注，标注其是否为幻觉token，以及幻觉的类型（例如，事实错误、细节捏造等）。2) 训练一个token级别的幻觉检测模型，该模型可以预测每个token是否为幻觉token，以及幻觉的类型。3) 利用幻觉检测模型对LLM生成的摘要进行评估，并根据评估结果对LLM进行微调，以减少幻觉的产生。

关键创新：论文最重要的技术创新点在于提出了token级别的幻觉识别方法。与现有方法相比，该方法可以更精确地定位到幻觉token，并区分不同类型的幻觉。这使得模型能够更深入地理解幻觉的产生机制，从而更有效地抑制幻觉。

关键设计：论文的关键设计包括：1) 详细的幻觉类型定义，例如事实错误、细节捏造、上下文矛盾等。2) 精心设计的标注流程，以保证标注的准确性和一致性。3) 使用Transformer模型作为token级别的幻觉检测模型，并采用交叉熵损失函数进行训练。4) 设计了新的训练范式，将幻觉检测模型与LLM进行联合训练，以提高LLM的摘要质量。

📊 实验亮点

论文提出了token级别的幻觉识别方法，并在对话摘要任务上进行了实验验证。实验结果表明，该方法能够有效提高摘要的忠实度和可解释性。具体来说，该方法在增强数据集上取得了显著的性能提升，并能够有效地减少摘要中的幻觉。

🎯 应用场景

该研究成果可应用于各种文本摘要场景，例如新闻摘要、文档摘要、对话摘要等。通过减少摘要中的幻觉，可以提高摘要的可靠性和可信度，从而帮助用户更准确地获取信息。此外，该研究还可以应用于其他自然语言生成任务，例如机器翻译、文本生成等，以提高生成文本的质量。

📄 摘要（原文）

Large Language Models (LLMs) are adept at text manipulation -- tasks such as machine translation and text summarization. However, these models can also be prone to hallucination, which can be detrimental to the faithfulness of any answers that the model provides. Recent works in combating hallucinations in LLMs deal with identifying hallucinated sentences and categorizing the different ways in which models hallucinate. This paper takes a deep dive into LLM behavior with respect to hallucinations, defines a token-level approach to identifying different kinds of hallucinations, and further utilizes this token-level tagging to improve the interpretability and faithfulness of LLMs in dialogue summarization tasks. Through this, the paper presents a new, enhanced dataset and a new training paradigm.