Dehallucinating Parallel Context Extension for Retrieval-Augmented Generation

📄 arXiv: 2412.14905v1 📥 PDF

作者: Zexiong Ma, Shengnan An, Zeqi Lin, Yanzhen Zou, Jian-Guang Lou, Bing Xie

分类: cs.CL, cs.AI

发布日期: 2024-12-19

💡 一句话要点

提出DePaC，通过解耦幻觉缓解RAG中并行上下文扩展的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 大型语言模型 幻觉缓解 并行上下文扩展 负训练 信息聚合

📋 核心要点

  1. 现有并行上下文扩展方法在RAG场景中仍存在幻觉问题，导致生成内容与检索上下文不一致。
  2. DePaC通过上下文感知的负训练抑制事实捏造，并利用信息校准聚合减少事实遗漏，从而缓解幻觉。
  3. 实验结果表明，DePaC在多个RAG任务上显著降低了幻觉，并提升了整体性能。

📝 摘要（中文）

大型语言模型（LLMs）即使集成了检索增强生成（RAG），仍然容易产生幻觉信息。并行上下文扩展（PCE）旨在有效整合并行（无序）上下文，但当应用于RAG场景时，仍然存在幻觉问题。本文提出了DePaC（Dehallucinating Parallel Context Extension），通过上下文感知的负训练和信息校准的聚合来缓解幻觉问题。DePaC旨在缓解两种类型的上下文幻觉：事实捏造（即LLM提出上下文不支持的声明）和事实遗漏（即LLM未能提出上下文可以支持的声明）。具体而言，（1）对于事实捏造，我们应用上下文感知的负训练，使用负监督来微调LLM，从而明确指导LLM在上下文与问题无关时拒绝回答；（2）对于事实遗漏，我们提出了信息校准的聚合，优先考虑来自其上下文的信息增量更高的上下文窗口。在九个RAG任务上的实验结果表明，DePaC显著缓解了这两种类型的幻觉，并在这些任务上始终实现了更好的性能。

🔬 方法详解

问题定义：论文旨在解决检索增强生成（RAG）中，使用并行上下文扩展（PCE）时，大型语言模型（LLM）产生的幻觉问题。现有的PCE方法在RAG场景下，仍然存在事实捏造（生成上下文不支持的信息）和事实遗漏（未能生成上下文支持的信息）两种类型的幻觉，影响了RAG系统的可靠性。

核心思路：DePaC的核心思路是解耦并分别解决事实捏造和事实遗漏两种幻觉。对于事实捏造，采用上下文感知的负训练，使模型学会识别与问题无关的上下文并拒绝回答。对于事实遗漏，采用信息校准的聚合，优先选择信息增量高的上下文窗口，确保关键信息被利用。

技术框架：DePaC包含两个主要模块：上下文感知的负训练模块和信息校准的聚合模块。首先，上下文感知的负训练模块通过构建负样本，微调LLM，使其能够识别与问题无关的上下文。然后，信息校准的聚合模块计算每个上下文窗口的信息增量，并根据增量大小对上下文进行加权聚合，最终生成答案。

关键创新：DePaC的关键创新在于针对RAG中PCE的两种特定幻觉类型，分别设计了解决方案。上下文感知的负训练直接针对事实捏造，通过负样本学习抑制不相关的生成。信息校准的聚合则针对事实遗漏，通过信息增量来选择更有价值的上下文，避免关键信息被忽略。与现有方法相比，DePaC更加精细化地处理了幻觉问题。

关键设计：上下文感知的负训练的关键在于负样本的构建，论文采用了一种未知方法来构建负样本（原文未详细说明）。信息校准的聚合的关键在于信息增量的计算，论文采用了一种未知方法来计算信息增量（原文未详细说明）。具体损失函数和网络结构等细节在论文中可能有所描述，但摘要中未提及。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DePaC在九个RAG任务上显著缓解了事实捏造和事实遗漏两种类型的幻觉。具体性能提升数据和对比基线在摘要中未给出，但结论是DePaC在这些任务上始终实现了更好的性能。这表明DePaC在实际应用中具有良好的效果。

🎯 应用场景

DePaC可应用于各种需要检索增强生成技术的场景，例如问答系统、对话机器人、知识库构建等。通过减少幻觉，DePaC可以提高生成内容的准确性和可靠性，增强用户信任度，并提升用户体验。该研究对于提升LLM在信息检索和知识整合方面的能力具有重要意义。

📄 摘要（原文）

Large language models (LLMs) are susceptible to generating hallucinated information, despite the integration of retrieval-augmented generation (RAG). Parallel context extension (PCE) is a line of research attempting to effectively integrating parallel (unordered) contexts, while it still suffers from hallucinations when adapted to RAG scenarios. In this paper, we propose DePaC (Dehallucinating Parallel Context Extension), which alleviates the hallucination problem with context-aware negative training and information-calibrated aggregation. DePaC is designed to alleviate two types of in-context hallucination: fact fabrication (i.e., LLMs present claims that are not supported by the contexts) and fact omission (i.e., LLMs fail to present claims that can be supported by the contexts). Specifically, (1) for fact fabrication, we apply the context-aware negative training that fine-tunes the LLMs with negative supervisions, thus explicitly guiding the LLMs to refuse to answer when contexts are not related to questions; (2) for fact omission, we propose the information-calibrated aggregation which prioritizes context windows with higher information increment from their contexts. The experimental results on nine RAG tasks demonstrate that DePaC significantly alleviates the two types of hallucination and consistently achieves better performances on these tasks.