Multilingual Fine-Grained News Headline Hallucination Detection

📄 arXiv: 2407.15975v1 📥 PDF

作者: Jiaming Shen, Tianqi Liu, Jialu Liu, Zhen Qin, Jay Pavagadhi, Simon Baumgartner, Michael Bendersky

分类: cs.CL

发布日期: 2024-07-22

💡 一句话要点

提出了一个多语言、细粒度的新闻标题幻觉检测数据集，并探索了监督微调和上下文学习方法。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 新闻标题生成 幻觉检测 多语言 细粒度分类 上下文学习

📋 核心要点

  1. 现有新闻标题生成模型存在“幻觉”问题，即生成标题与原文不符，且现有研究主要集中在英语，忽略了细粒度幻觉类型。
  2. 论文构建了一个多语言、细粒度的新闻标题幻觉检测数据集，并探索了监督微调和上下文学习两种方法。
  3. 实验表明，该数据集具有挑战性和实用性，并提出了语言相关的演示选择和粗到细的提示等技术，提升了少样本幻觉检测性能。

📝 摘要（中文）

随着预训练语言模型的进步，自动新闻标题生成变得越来越流行。然而，这些模型经常受到“幻觉”问题的困扰，即生成的标题没有得到其源文章的充分支持。解决这一问题的努力主要集中在英语上，并且使用了过于简单的分类方案，忽略了细微的幻觉类型。在本研究中，我们引入了第一个多语言、细粒度的新闻标题幻觉检测数据集，其中包含5种语言的超过11000个配对，每个配对都由专家注释了详细的幻觉类型。我们在此数据集上进行了广泛的实验，包括监督微调方法和大型语言模型的上下文学习能力测试，并提出了两种新颖的技术：语言相关的演示选择和粗到细的提示，以提高少样本幻觉检测的性能，以example-F1指标衡量。我们发布此数据集，以促进多语言、细粒度标题幻觉检测的进一步研究。

🔬 方法详解

问题定义：论文旨在解决新闻标题生成模型中存在的“幻觉”问题，即生成的标题与原文内容不一致。现有方法主要集中在英语，且采用过于简化的分类方式，无法有效识别细粒度的幻觉类型，限制了模型在多语言环境下的应用。

核心思路：论文的核心思路是构建一个多语言、细粒度的新闻标题幻觉检测数据集，并利用该数据集探索不同的幻觉检测方法。通过细粒度的标注，可以更准确地识别幻觉类型，从而为后续的模型训练和改进提供更有效的信息。同时，探索了上下文学习方法，以减少对大量标注数据的依赖。

技术框架：整体框架包括数据集构建和模型实验两个主要部分。数据集构建部分涉及多语言新闻标题和对应文章的收集，以及专家对幻觉类型的细粒度标注。模型实验部分包括监督微调和上下文学习两种设置。在上下文学习中，提出了语言相关的演示选择和粗到细的提示两种技术。

关键创新：论文的关键创新在于：1) 构建了首个多语言、细粒度的新闻标题幻觉检测数据集，为相关研究提供了宝贵资源。2) 提出了语言相关的演示选择方法，根据输入语言选择合适的演示样本，提升了上下文学习的效果。3) 提出了粗到细的提示方法，先进行粗粒度分类，再进行细粒度分类，提高了幻觉检测的准确性。

关键设计：在数据集构建方面，采用了专家标注的方式，保证了标注质量。在上下文学习方面，语言相关的演示选择方法通过计算输入语言和演示样本语言的相似度来选择合适的演示样本。粗到细的提示方法首先使用一个粗粒度的提示进行分类，然后根据粗粒度分类的结果，使用不同的细粒度提示进行分类。具体参数设置和损失函数等细节在论文中未详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了一个包含5种语言、超过11000个新闻标题-文章对的数据集，并进行了广泛的实验。实验结果表明，提出的语言相关的演示选择和粗到细的提示方法在少样本幻觉检测任务中取得了显著的性能提升，以example-F1指标衡量。

🎯 应用场景

该研究成果可应用于提升新闻标题生成模型的可靠性和准确性，减少虚假新闻和信息误导。此外，该数据集和方法可以推广到其他文本生成任务，例如机器翻译、文本摘要等，提高生成内容的质量和一致性。未来，可以进一步研究如何利用该数据集来训练更强大的幻觉检测模型，并将其应用于实际的新闻生产流程中。

📄 摘要（原文）

The popularity of automated news headline generation has surged with advancements in pre-trained language models. However, these models often suffer from the ``hallucination'' problem, where the generated headline is not fully supported by its source article. Efforts to address this issue have predominantly focused on English, using over-simplistic classification schemes that overlook nuanced hallucination types. In this study, we introduce the first multilingual, fine-grained news headline hallucination detection dataset that contains over 11 thousand pairs in 5 languages, each annotated with detailed hallucination types by experts. We conduct extensive experiments on this dataset under two settings. First, we implement several supervised fine-tuning approaches as preparatory solutions and demonstrate this dataset's challenges and utilities. Second, we test various large language models' in-context learning abilities and propose two novel techniques, language-dependent demonstration selection and coarse-to-fine prompting, to boost the few-shot hallucination detection performance in terms of the example-F1 metric. We release this dataset to foster further research in multilingual, fine-grained headline hallucination detection.