Probing Latent Knowledge Conflict for Faithful Retrieval-Augmented Generation

📄 arXiv: 2510.12460v1 📥 PDF

作者: Linfeng Gao, Baolong Bi, Zheng Yuan, Le Wang, Zerui Chen, Zhimin Wei, Shenghua Liu, Qinggang Zhang, Jinsong Su

分类: cs.CL

发布日期: 2025-10-14

🔗 代码/项目: GITHUB

💡 一句话要点

提出CLEAR框架，通过探测潜在知识冲突提升RAG系统的忠实性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 知识冲突 隐藏状态探测 上下文忠实性 大型语言模型

📋 核心要点

  1. 现有RAG系统存在不忠实问题，模型响应与检索上下文证据矛盾，缺乏对LLM内部知识整合过程的深入理解。
  2. CLEAR框架通过探测LLM隐藏状态，定位句子级别的知识冲突，并进行冲突感知的微调，引导模型准确整合检索证据。
  3. 实验表明，CLEAR在多个基准测试中显著提升了RAG系统的准确性和上下文忠实性，优于现有基线方法。

📝 摘要（中文）

检索增强生成(RAG)已成为增强大型语言模型(LLM)事实性的强大范例。然而，现有的RAG系统常常受到不忠实问题的影响，即模型的响应与检索到的上下文证据相矛盾。现有改进上下文忠实性的方法主要依赖于外部干预，例如提示工程、解码约束或基于奖励的微调。这些工作将LLM视为黑盒，忽略了一个关键问题：LLM如何在内部整合检索到的证据与其参数记忆，尤其是在知识冲突的情况下？为了解决这个问题，我们对LLM中隐藏状态表示进行基于探测的分析，并观察到三个发现：知识整合是分层发生的，冲突在句子层面表现为潜在信号，并且当与参数知识对齐时，无关上下文通常会被放大。基于这些发现，我们提出了CLEAR（Conflict-Localized and Enhanced Attention for RAG），一个框架，它（i）将上下文分解为细粒度的句子级知识，（ii）采用隐藏状态探测来定位冲突知识，以及（iii）引入冲突感知的微调来引导模型准确地整合检索到的证据。在三个基准上的大量实验表明，CLEAR显著提高了准确性和上下文忠实性，在各种冲突条件下始终优于强大的基线。

🔬 方法详解

问题定义：论文旨在解决检索增强生成（RAG）系统中LLM生成内容与检索到的上下文证据不一致的问题，即“不忠实”问题。现有方法通常将LLM视为黑盒，通过外部干预（如prompt工程）来改善忠实性，忽略了LLM内部如何处理和整合检索到的信息，尤其是在检索到的信息与LLM自身知识存在冲突时。

核心思路：论文的核心思路是通过探测LLM的隐藏状态，识别并定位知识冲突，然后通过冲突感知的微调，引导LLM更好地整合检索到的信息。这种方法的核心在于深入理解LLM内部的知识整合机制，并针对性地解决知识冲突问题。

技术框架：CLEAR框架包含三个主要步骤：1) 上下文分解：将检索到的上下文分解为细粒度的句子级别知识。2) 冲突定位：使用隐藏状态探测技术，分析LLM在处理每个句子时的隐藏状态，从而定位潜在的知识冲突。具体来说，通过计算句子表征与LLM参数知识表征的相似度来判断是否存在冲突。3) 冲突感知微调：基于定位到的冲突信息，设计冲突感知的微调策略，引导LLM更好地整合检索到的证据，减少不忠实信息的生成。

关键创新：该论文的关键创新在于：1) 提出了一种基于隐藏状态探测的知识冲突定位方法，能够深入理解LLM内部的知识整合过程。2) 设计了一种冲突感知的微调策略，能够有效地引导LLM解决知识冲突，提高RAG系统的忠实性。3) 提出了CLEAR框架，将知识冲突定位和冲突感知微调相结合，形成了一个完整的解决方案。

关键设计：在冲突定位阶段，论文使用了一种基于余弦相似度的冲突评分机制，用于衡量句子表征与LLM参数知识表征之间的冲突程度。在冲突感知微调阶段，论文设计了一种基于对比学习的损失函数，鼓励LLM生成与检索到的证据一致的响应，同时抑制与LLM自身知识冲突的响应。具体的参数设置和网络结构细节在论文中有详细描述，例如隐藏状态探测的具体层数、对比学习的温度系数等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CLEAR框架在三个基准测试中均取得了显著的性能提升，在准确性和上下文忠实性方面均优于现有基线方法。例如，在某些数据集上，CLEAR框架的忠实性指标提升了超过10%。这些结果验证了CLEAR框架在解决RAG系统不忠实问题方面的有效性。

🎯 应用场景

CLEAR框架可应用于各种需要RAG的场景，例如问答系统、知识库构建、内容生成等。通过提高RAG系统的忠实性，可以减少错误信息的传播，提升用户信任度，并为下游应用提供更可靠的基础。未来，该研究可以扩展到多模态RAG，处理图像、视频等多种类型的信息。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) has emerged as a powerful paradigm to enhance the factuality of Large Language Models (LLMs). However, existing RAG systems often suffer from an unfaithfulness issue, where the model's response contradicts evidence from the retrieved context. Existing approaches to improving contextual faithfulness largely rely on external interventions, such as prompt engineering, decoding constraints, or reward-based fine-tuning. These works treat the LLM as a black box and overlook a crucial question: how does the LLM internally integrate retrieved evidence with its parametric memory, particularly under knowledge conflicts? To address this gap, we conduct a probing-based analysis of hidden-state representations in LLMs and observe three findings: knowledge integration occurs hierarchically, conflicts manifest as latent signals at the sentence level, and irrelevant context is often amplified when aligned with parametric knowledge. Building on these findings, we propose CLEAR (Conflict-Localized and Enhanced Attention for RAG), a framework that (i) decomposes context into fine-grained sentence-level knowledge, (ii) employs hidden-state probing to localize conflicting knowledge, and (iii) introduces conflict-aware fine-tuning to guide the model to accurately integrate retrieved evidence. Extensive experiments across three benchmarks demonstrate that CLEAR substantially improves both accuracy and contextual faithfulness, consistently outperforming strong baselines under diverse conflict conditions. The related resources are available at https://github.com/LinfengGao/CLEAR.