Who's Who: Large Language Models Meet Knowledge Conflicts in Practice

📄 arXiv: 2410.15737v1 📥 PDF

作者: Quang Hieu Pham, Hoang Ngo, Anh Tuan Luu, Dat Quoc Nguyen

分类: cs.CL, cs.AI, cs.IR

发布日期: 2024-10-21

备注: Accepted to EMNLP 2024 Findings

💡 一句话要点

提出WhoQA基准数据集，用于评估大语言模型在知识冲突场景下的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识冲突 大型语言模型 检索增强生成 基准数据集 WhoQA

📋 核心要点

  1. 现有RAG方法在处理知识冲突时，LLM倾向于基于自身偏见选择信息，缺乏透明度。
  2. 论文提出WhoQA数据集，旨在评估LLM在面对知识冲突时的行为，并鼓励模型报告冲突而非自行决策。
  3. 实验表明，即使是简单的问题，知识冲突也会显著降低LLM在RAG环境下的性能表现。

📝 摘要（中文）

检索增强生成(RAG)方法是解决预训练语言模型静态记忆限制的可行方案。然而，在检索上下文中遇到冲突的信息源是一个不可避免的实际挑战。在这种情况下，建议语言模型透明地告知用户这些冲突，而不是根据其固有的偏见自主决定呈现什么。为了分析当前的大型语言模型(LLM)如何与我们的建议保持一致，我们引入了WhoQA，一个公共基准数据集，用于检查模型在知识冲突情况下的行为。我们通过询问具有相同名称的实体之间的共同属性来诱导冲突，从而产生具有多达8个不同答案的问题。WhoQA评估集包括跨13个Wikidata属性类型和150K个Wikipedia实体的5K个问题。我们的实验表明，尽管WhoQA问题很简单，但知识冲突会显著降低LLM在RAG设置中的性能。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在检索增强生成（RAG）场景中，面对知识冲突时表现不佳的问题。现有方法在处理冲突信息时，LLM倾向于根据自身预训练的偏见进行选择，而缺乏透明地呈现冲突信息的能力，这可能导致误导或不准确的回答。

核心思路：论文的核心思路是构建一个专门用于评估LLM在知识冲突场景下表现的基准数据集WhoQA。通过设计包含多个可能答案的问题，诱导LLM暴露其在处理冲突信息时的行为模式，从而促进对LLM知识处理能力的更深入理解。

技术框架：WhoQA数据集的构建流程主要包括以下几个步骤：1) 选择Wikidata属性类型；2) 选取具有相同名称的Wikipedia实体；3) 针对这些实体，构建关于其共同属性的问题，这些问题可能存在多个不同的答案，从而人为制造知识冲突；4) 最终构建包含5K个问题，覆盖13个Wikidata属性类型和150K个Wikipedia实体的评估集。

关键创新：WhoQA数据集的关键创新在于其专注于评估LLM在知识冲突场景下的表现。与以往的QA数据集不同，WhoQA并非旨在测试LLM的知识量或推理能力，而是侧重于考察LLM在面对多个可能答案时的选择策略和透明度。

关键设计：WhoQA数据集的关键设计在于其问题构建方式。通过选择具有相同名称的实体，并询问它们的共同属性，可以有效地诱导知识冲突。例如，询问“谁是比尔·盖茨的配偶？”，由于存在多个同名人物，可能检索到不同的配偶信息，从而产生冲突。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，即使是设计简单的WhoQA问题，知识冲突也会显著降低LLM在RAG设置中的性能。这表明当前LLM在处理知识冲突方面仍存在较大提升空间，需要进一步研究和改进。

🎯 应用场景

该研究成果可应用于提升RAG系统的可靠性和透明度。通过使用WhoQA数据集评估和改进LLM，可以使其在面对知识冲突时，能够更准确、更客观地呈现信息，避免误导用户。这对于需要高度准确性和可靠性的应用场景，如医疗诊断、法律咨询等，具有重要意义。

📄 摘要（原文）

Retrieval-augmented generation (RAG) methods are viable solutions for addressing the static memory limits of pre-trained language models. Nevertheless, encountering conflicting sources of information within the retrieval context is an inevitable practical challenge. In such situations, the language models are recommended to transparently inform users about the conflicts rather than autonomously deciding what to present based on their inherent biases. To analyze how current large language models (LLMs) align with our recommendation, we introduce WhoQA, a public benchmark dataset to examine model's behavior in knowledge conflict situations. We induce conflicts by asking about a common property among entities having the same name, resulting in questions with up to 8 distinctive answers. WhoQA evaluation set includes 5K questions across 13 Wikidata property types and 150K Wikipedia entities. Our experiments show that despite the simplicity of WhoQA questions, knowledge conflicts significantly degrades LLMs' performance in RAG settings.