Evaluating the Retrieval Robustness of Large Language Models

📄 arXiv: 2505.21870v1 📥 PDF

作者: Shuyang Cao, Karthik Radhakrishnan, David Rosenberg, Steven Lu, Pengxiang Cheng, Lu Wang, Shiyue Zhang

分类: cs.CL, cs.AI

发布日期: 2025-05-28

备注: 19 pages

💡 一句话要点

评估大型语言模型在检索增强生成中的检索鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 大型语言模型 鲁棒性评估 开放域问答 知识密集型任务

📋 核心要点

  1. 现有RAG方法依赖于完美的检索结果，但实际应用中检索结果往往不理想，这会影响LLM的性能。
  2. 该论文通过构建基准数据集和定义鲁棒性指标，系统地评估了LLM在不同检索质量下的性能表现。
  3. 实验结果表明，LLM具有一定的检索鲁棒性，但仍存在提升空间，需要进一步优化RAG系统。

📝 摘要（中文）

检索增强生成（RAG）通常增强了大型语言模型（LLM）解决知识密集型任务的能力。但由于不完善的检索以及模型利用检索内容的能力有限，RAG也可能导致性能下降。本文评估了LLM在实际RAG设置中的鲁棒性（即检索鲁棒性）。我们关注三个研究问题：（1）RAG是否总是优于非RAG；（2）检索更多文档是否总是带来更好的性能；（3）文档顺序是否影响结果。为了方便这项研究，我们建立了一个包含1500个开放域问题的基准，每个问题都附带从维基百科检索到的文档。我们引入了三个鲁棒性指标，每个指标对应一个研究问题。我们涉及11个LLM和3种提示策略的综合实验表明，所有这些LLM都表现出令人惊讶的高检索鲁棒性；然而，不同程度的不完善鲁棒性阻碍了它们充分利用RAG的优势。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLM）在检索增强生成（RAG）框架下的检索鲁棒性。现有的RAG方法假设检索到的文档是准确且有用的，但在实际应用中，检索结果可能包含噪声、冗余信息或与问题无关的内容，这会影响LLM的生成质量。因此，如何评估和提升LLM在不完美检索条件下的性能是一个关键问题。

核心思路：论文的核心思路是通过构建一个包含各种检索质量的基准数据集，并定义相应的鲁棒性指标，来系统地评估LLM在不同检索场景下的表现。通过分析实验结果，可以了解LLM对不同类型检索错误的敏感程度，从而指导RAG系统的优化。

技术框架：该研究的技术框架主要包括以下几个部分：1) 构建基准数据集：收集1500个开放域问题，并从维基百科检索相关文档。2) 定义鲁棒性指标：针对三个研究问题，分别设计了三个鲁棒性指标，包括RAG vs. Non-RAG、文档数量的影响、文档顺序的影响。3) 进行实验评估：选择11个LLM和3种提示策略，在基准数据集上进行实验，并计算鲁棒性指标。4) 分析实验结果：分析不同LLM在不同检索条件下的性能表现，并总结规律。

关键创新：论文的关键创新在于提出了一个系统性的方法来评估LLM在RAG框架下的检索鲁棒性。具体来说，通过构建包含各种检索质量的基准数据集和定义相应的鲁棒性指标，可以更全面地了解LLM对不同类型检索错误的敏感程度。这与以往的研究主要关注RAG的整体性能不同，更加关注LLM对检索质量的依赖性。

关键设计：论文的关键设计包括：1) 基准数据集的构建：确保数据集包含各种类型的开放域问题，并从维基百科检索相关文档，以模拟真实的检索场景。2) 鲁棒性指标的定义：针对三个研究问题，分别设计了三个鲁棒性指标，以量化LLM在不同检索条件下的性能表现。3) 实验设置：选择多个LLM和提示策略，以评估不同模型的检索鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所有参与评估的LLM都表现出一定程度的检索鲁棒性，即使在检索结果不完美的情况下，也能保持较好的性能。然而，不同LLM的鲁棒性程度存在差异，一些模型对特定类型的检索错误更加敏感。此外，实验还发现，增加检索文档的数量并不总是能提高性能，文档的顺序也会影响LLM的生成结果。

🎯 应用场景

该研究的成果可以应用于各种需要知识增强的自然语言处理任务，例如问答系统、对话系统、文本摘要等。通过评估和提升LLM的检索鲁棒性，可以提高这些系统在实际应用中的性能和可靠性。此外，该研究还可以为RAG系统的设计和优化提供指导，例如如何选择合适的检索策略、如何过滤噪声信息、如何调整文档顺序等。

📄 摘要（原文）

Retrieval-augmented generation (RAG) generally enhances large language models' (LLMs) ability to solve knowledge-intensive tasks. But RAG may also lead to performance degradation due to imperfect retrieval and the model's limited ability to leverage retrieved content. In this work, we evaluate the robustness of LLMs in practical RAG setups (henceforth retrieval robustness). We focus on three research questions: (1) whether RAG is always better than non-RAG; (2) whether more retrieved documents always lead to better performance; (3) and whether document orders impact results. To facilitate this study, we establish a benchmark of 1500 open-domain questions, each with retrieved documents from Wikipedia. We introduce three robustness metrics, each corresponds to one research question. Our comprehensive experiments, involving 11 LLMs and 3 prompting strategies, reveal that all of these LLMs exhibit surprisingly high retrieval robustness; nonetheless, different degrees of imperfect robustness hinders them from fully utilizing the benefits of RAG.