Towards Long Context Hallucination Detection

📄 arXiv: 2504.19457v1 📥 PDF

作者: Siyi Liu, Kishaloy Halder, Zheng Qi, Wei Xiao, Nikolaos Pappas, Phu Mon Htut, Neha Anna John, Yassine Benajiba, Dan Roth

分类: cs.CL, cs.AI

发布日期: 2025-04-28

💡 一句话要点

提出长文本幻觉检测数据集与分解聚合模型，显著提升检测性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本幻觉检测 大型语言模型 分解聚合 预训练模型 上下文理解

📋 核心要点

  1. 现有方法在长文本中检测语言模型幻觉方面存在不足，缺乏专门的数据集和有效模型。
  2. 论文提出一种分解和聚合机制，使预训练编码器模型能够处理长文本并检测幻觉。
  3. 实验结果表明，该架构在检测性能和推理速度上均优于现有模型，效果显著。

📝 摘要（中文）

大型语言模型（LLMs）在各种任务中表现出卓越的性能。然而，它们容易产生上下文幻觉，即生成的信息未经证实或与给定的上下文相矛盾。尽管许多研究已经调查了LLMs中的上下文幻觉，但在长上下文输入中解决这些问题仍然是一个开放的问题。在这项工作中，我们朝着解决这个问题迈出了第一步，构建了一个专门为长上下文幻觉检测设计的数据集。此外，我们提出了一种新颖的架构，使预训练的编码器模型（如BERT）能够处理长上下文，并通过分解和聚合机制有效地检测上下文幻觉。我们的实验结果表明，所提出的架构在各种指标上显著优于先前类似大小的模型以及基于LLM的模型，同时提供了明显更快的推理速度。

🔬 方法详解

问题定义：论文旨在解决长文本上下文中大型语言模型（LLMs）产生的幻觉问题。现有的幻觉检测方法在处理长文本时效果不佳，并且缺乏专门针对长文本幻觉检测的数据集。这使得评估和改进LLMs在长文本理解和生成方面的可靠性变得困难。

核心思路：论文的核心思路是将长文本分解成更小的片段，然后使用预训练的编码器模型（如BERT）对这些片段进行编码。通过分解，模型可以更好地处理长文本的复杂性。然后，通过聚合机制将这些片段的编码信息进行整合，从而做出最终的幻觉检测判断。这种分解和聚合的策略旨在捕捉长文本中的上下文依赖关系，并提高幻觉检测的准确性。

技术框架：该架构主要包含两个阶段：分解阶段和聚合阶段。在分解阶段，长文本被分割成多个重叠的片段。在聚合阶段，每个片段首先通过预训练的编码器模型（如BERT）进行编码，得到片段的表示。然后，使用聚合机制（例如，注意力机制或池化操作）将这些片段表示合并成一个整体的文本表示。最后，使用一个分类器基于该表示来预测文本中是否存在幻觉。

关键创新：该论文的关键创新在于提出了一个针对长文本幻觉检测的分解和聚合框架。与直接处理整个长文本的方法相比，该框架能够更好地捕捉长文本中的上下文依赖关系，并提高幻觉检测的准确性。此外，该框架可以利用现有的预训练编码器模型，从而避免了从头开始训练模型的需要。

关键设计：在分解阶段，需要确定片段的大小和重叠程度。在聚合阶段，可以选择不同的聚合机制，例如注意力机制或池化操作。此外，还需要设计一个合适的分类器来预测文本中是否存在幻觉。论文中可能还涉及一些超参数的调整，例如学习率、batch size等。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，所提出的架构在长文本幻觉检测任务上显著优于现有的基线模型，包括类似大小的模型和基于LLM的模型。具体而言，该架构在各项指标上均取得了明显的提升，并且推理速度更快。这些结果表明，该架构能够有效地处理长文本，并准确地检测其中的幻觉。

🎯 应用场景

该研究成果可应用于各种需要处理长文本的场景，例如自动文档摘要、问答系统、机器翻译等。通过检测和减少长文本中的幻觉，可以提高这些系统的可靠性和准确性，从而提升用户体验。此外，该研究还可以促进对大型语言模型在长文本理解和生成方面的进一步研究。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated remarkable performance across various tasks. However, they are prone to contextual hallucination, generating information that is either unsubstantiated or contradictory to the given context. Although many studies have investigated contextual hallucinations in LLMs, addressing them in long-context inputs remains an open problem. In this work, we take an initial step toward solving this problem by constructing a dataset specifically designed for long-context hallucination detection. Furthermore, we propose a novel architecture that enables pre-trained encoder models, such as BERT, to process long contexts and effectively detect contextual hallucinations through a decomposition and aggregation mechanism. Our experimental results show that the proposed architecture significantly outperforms previous models of similar size as well as LLM-based models across various metrics, while providing substantially faster inference.