Exploring Knowledge Conflicts for Faithful LLM Reasoning: Benchmark and Method

📄 arXiv: 2604.11209v1 📥 PDF

作者: Tianzhe Zhao, Jiaoyan Chen, Shuxiu Zhang, Haiping Zhu, Qika Lin, Jun Liu

分类: cs.CL, cs.AI

发布日期: 2026-04-13

备注: Accepted at SIGIR 2026

💡 一句话要点

提出ConflictQA基准与XoT框架，解决LLM在异构冲突知识下的推理难题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识冲突 推理 检索增强生成 知识图谱 异构数据 可信推理

📋 核心要点

  1. 现有研究忽略了RAG系统中外部知识源之间的冲突，尤其是在文本和知识图谱混合的情况下，这导致LLM推理的可靠性下降。
  2. 论文提出XoT框架，通过两阶段的解释生成和选择过程，引导LLM识别并利用可靠的证据，从而提高在冲突知识下的推理能力。
  3. 实验表明，XoT框架在ConflictQA基准测试中显著提升了LLM在处理异构冲突知识时的推理准确性，验证了其有效性。

📝 摘要（中文）

大型语言模型(LLMs)在各种应用中取得了显著成功，尤其是在检索增强生成(RAG)的支持下。然而，当检索到冲突知识时，LLMs常常难以进行可靠的推理。现有工作主要关注外部知识与LLMs参数知识之间的冲突，而忽略了外部知识之间的冲突。为了填补这一空白，我们提出了ConflictQA，这是一个系统地实例化文本证据和知识图谱(KG)证据之间冲突的新基准。对代表性LLMs的广泛评估表明，面对这种跨源冲突，LLMs通常无法识别可靠的证据进行正确的推理。相反，LLMs对提示选择更加敏感，并且倾向于完全依赖KG或文本证据，从而导致不正确的响应。基于这些发现，我们进一步提出了XoT，这是一个为异构冲突证据推理量身定制的两阶段基于解释的思维框架，并通过广泛的实验验证了其有效性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在检索增强生成（RAG）系统中，面对来自不同外部知识源（如文本和知识图谱）的冲突信息时，难以进行可靠推理的问题。现有方法主要关注LLM自身参数知识与外部知识的冲突，而忽略了不同外部知识源之间的冲突，导致LLM在面对异构冲突信息时表现不佳。

核心思路：论文的核心思路是设计一个两阶段的解释生成和选择框架（XoT），引导LLM首先针对不同的知识源生成解释，然后基于这些解释选择最可靠的证据进行推理。这种方法模拟了人类在面对冲突信息时，会先分析不同信息的来源和理由，再做出判断的过程。

技术框架：XoT框架包含两个主要阶段：1) 解释生成阶段：LLM分别基于文本证据和知识图谱证据生成解释，说明为什么这些证据支持或反对某个假设。2) 证据选择阶段：LLM评估不同解释的合理性和可靠性，选择最可靠的证据，并基于该证据进行最终的推理。整个流程旨在让LLM更加谨慎地处理冲突信息，避免盲目依赖单一来源。

关键创新：论文的关键创新在于提出了一个专门针对异构冲突知识推理的框架，该框架通过显式的解释生成和选择过程，提高了LLM在复杂推理场景下的可靠性。与现有方法相比，XoT框架更加关注知识源之间的冲突，并试图通过解释来解决这些冲突，而不是简单地将所有信息混合在一起。

关键设计：XoT框架的关键设计包括：1) 使用特定的prompt引导LLM生成解释，确保解释的质量和相关性。2) 设计合理的评估指标来衡量解释的可靠性，例如，可以考虑解释的逻辑一致性、与事实的符合程度等。3) 在证据选择阶段，可以使用不同的策略来融合不同解释的评估结果，例如，可以采用加权平均或投票机制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，XoT框架在ConflictQA基准测试中显著提升了LLM的推理准确性。例如，在某些LLM上，XoT框架的准确率提升了超过10个百分点。此外，实验还表明，XoT框架能够有效缓解LLM对prompt选择的敏感性，使其在不同prompt下都能保持较高的性能。

🎯 应用场景

该研究成果可应用于需要从多个信息源进行推理的场景，例如智能问答系统、金融风险评估、医疗诊断辅助等。通过提高LLM在冲突信息下的推理能力，可以提升这些系统的准确性和可靠性，减少错误决策的风险。未来，该研究可以扩展到更多类型的知识源，并与其他推理技术相结合，进一步提升LLM的智能水平。

📄 摘要（原文）

Large language models (LLMs) have achieved remarkable success across a wide range of applications especially when augmented by external knowledge through retrieval-augmented generation (RAG). Despite their widespread adoption, recent studies have shown that LLMs often struggle to perform faithful reasoning when conflicting knowledge is retrieved. However, existing work primarily focuses on conflicts between external knowledge and the parametric knowledge of LLMs, leaving conflicts across external knowledge largely unexplored. Meanwhile, modern RAG systems increasingly emphasize the integration of unstructured text and (semi-)structured data like knowledge graphs (KGs) to improve knowledge completeness and reasoning faithfulness. To address this gap, we introduce ConflictQA, a novel benchmark that systematically instantiates conflicts between textual evidence and KG evidence. Extensive evaluations across representative LLMs reveal that, facing such cross-source conflicts, LLMs often fail to identify reliable evidence for correct reasoning. Instead, LLMs become more sensitive to prompting choices and tend to rely exclusively on either KG or textual evidence, resulting in incorrect responses. Based on these findings, we further propose XoT, a two-stage explanation-based thinking framework tailored for reasoning over heterogeneous conflicting evidence, and verify its effectiveness with extensive experiments.