LRP4RAG: Detecting Hallucinations in Retrieval-Augmented Generation via Layer-wise Relevance Propagation

📄 arXiv: 2408.15533v3 📥 PDF

作者: Haichuan Hu, Congqing He, Xiaochen Xie, Quanjun Zhang

分类: cs.CL, cs.AI

发布日期: 2024-08-28 (更新: 2025-06-27)

💡 一句话要点

LRP4RAG：利用逐层相关性传播检测RAG中的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 幻觉检测 逐层相关性传播 可解释性AI 大型语言模型

📋 核心要点

  1. RAG虽然能缓解LLM幻觉，但知识提取不完整和理解不足仍会导致幻觉。
  2. LRP4RAG利用逐层相关性传播算法，计算RAG生成器输入输出的相关性，检测幻觉。
  3. 实验表明，LRP4RAG在检测RAG幻觉方面优于现有基线方法，效果显著。

📝 摘要（中文）

检索增强生成(RAG)已成为缓解大型语言模型(LLM)中幻觉问题的主要技术。然而，不完整的知识提取和理解不足仍然可能误导LLM产生不相关甚至矛盾的响应，这意味着幻觉仍然存在于RAG中。本文提出了一种基于逐层相关性传播(LRP)算法的LRP4RAG方法，用于检测RAG中的幻觉。具体来说，我们首先利用LRP计算RAG生成器的输入和输出之间的相关性。然后，我们对相关性矩阵进行进一步的提取和重采样。处理后的相关性数据被输入到多个分类器中，以确定输出是否包含幻觉。据我们所知，这是首次将LRP用于检测RAG幻觉，并且大量的实验表明LRP4RAG优于现有的基线。

🔬 方法详解

问题定义：论文旨在解决检索增强生成（RAG）系统中存在的幻觉问题。尽管RAG通过检索外部知识来增强LLM，但由于知识提取不完整或理解不足，LLM仍然可能生成不相关甚至矛盾的回复，即产生幻觉。现有方法在检测这些幻觉方面存在不足，无法有效识别和消除RAG系统中的错误信息。

核心思路：论文的核心思路是利用逐层相关性传播（LRP）算法来分析RAG生成器的输入和输出之间的相关性。LRP能够追踪输出结果对输入信息的依赖程度，从而判断生成的内容是否与检索到的知识密切相关。通过量化这种相关性，可以有效地检测RAG系统中的幻觉。

技术框架：LRP4RAG方法主要包含以下几个阶段：1) 相关性计算：使用LRP算法计算RAG生成器输入（检索到的文档）和输出（生成的文本）之间的相关性矩阵。2) 相关性处理：对相关性矩阵进行提取和重采样，以突出关键信息并降低噪声。3) 幻觉检测：将处理后的相关性数据输入到多个分类器中，判断生成的文本是否包含幻觉。这些分类器可以是传统的机器学习模型或深度学习模型。

关键创新：该方法最重要的创新点在于首次将LRP算法应用于检测RAG系统中的幻觉。与现有方法相比，LRP4RAG能够更细粒度地分析输入和输出之间的关系，从而更准确地识别幻觉。此外，通过提取和重采样相关性矩阵，可以进一步提高幻觉检测的准确性和鲁棒性。

关键设计：论文中关键的设计包括：1) LRP算法的具体实现细节，例如如何选择合适的传播规则和参数。2) 相关性矩阵的提取和重采样方法，例如使用哪些统计指标或滤波技术来突出关键信息。3) 分类器的选择和训练，例如使用哪种机器学习模型或深度学习模型，以及如何设计损失函数和优化算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LRP4RAG在检测RAG幻觉方面显著优于现有基线方法。具体的性能数据（例如准确率、召回率、F1值等）在论文中进行了详细展示。通过与多种基线方法进行对比，证明了LRP4RAG在幻觉检测方面的有效性和优越性。实验结果还表明，LRP4RAG对不同的RAG模型和数据集具有较好的泛化能力。

🎯 应用场景

LRP4RAG可应用于各种需要可靠信息生成的场景，例如问答系统、内容创作、智能客服等。通过检测和减少RAG系统中的幻觉，可以提高生成内容的准确性和可信度，从而提升用户体验和应用价值。未来，该方法有望扩展到其他类型的生成模型，并与其他幻觉缓解技术相结合，进一步提高生成模型的可靠性。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) has become a primary technique for mitigating hallucinations in large language models (LLMs). However, incomplete knowledge extraction and insufficient understanding can still mislead LLMs to produce irrelevant or even contradictory responses, which means hallucinations persist in RAG. In this paper, we propose LRP4RAG, a method based on the Layer-wise Relevance Propagation (LRP) algorithm for detecting hallucinations in RAG. Specifically, we first utilize LRP to compute the relevance between the input and output of the RAG generator. We then apply further extraction and resampling to the relevance matrix. The processed relevance data are input into multiple classifiers to determine whether the output contains hallucinations. To the best of our knowledge, this is the first time that LRP has been used for detecting RAG hallucinations, and extensive experiments demonstrate that LRP4RAG outperforms existing baselines.