RAD-Bench: Evaluating Large Language Models Capabilities in Retrieval Augmented Dialogues

📄 arXiv: 2409.12558v2 📥 PDF

作者: Tzu-Lin Kuo, Feng-Ting Liao, Mu-Wei Hsieh, Fu-Chieh Chang, Po-Chun Hsu, Da-Shan Shiu

分类: cs.CL

发布日期: 2024-09-19 (更新: 2025-02-21)

🔗 代码/项目: GITHUB

💡 一句话要点

RAD-Bench：评估大型语言模型在检索增强对话中的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 多轮对话 大型语言模型 基准测试 检索合成 检索推理 上下文推理 知识整合

📋 核心要点

  1. 现有基准测试缺乏对LLM在多轮对话中利用检索信息进行精确回复能力的评估。
  2. RAD-Bench旨在评估LLM在检索增强的多轮对话中的检索合成和检索推理能力。
  3. 实验结果表明，即使提供准确的检索上下文，LLM在多轮对话中的性能也会下降。

📝 摘要（中文）

在大型语言模型（LLM）的实际应用中，通常采用外部检索机制，如搜索增强生成（SAG）、工具利用和检索增强生成（RAG），以提高对话中增强生成的质量。这些方法通常涉及多轮对话，每次交互都通过从外部来源检索的相关信息进行丰富。现有的基准测试要么评估LLM在多轮对话中的聊天能力，要么评估它们在单轮设置中使用检索来增强响应的能力。然而，在评估LLM利用检索在多个轮次中获得更精确响应的能力方面存在差距。为了解决这个限制，我们引入了RAD-Bench（检索增强对话），这是一个旨在评估LLM在检索后的多轮对话中的能力的基准，这对于它们在上下文丰富的应用中的部署至关重要。RAD-Bench评估LLM的两个关键能力：检索合成和检索推理。这些能力通过判别性问题、检索到的上下文和相应的参考答案来衡量，评估LLM如何有效地整合和推理上下文，以维持和提高多个轮次的对话质量。我们对常用LLM的评估结果表明，即使提供了准确的检索上下文，模型的性能也会随着对话轮次中应用的其他条件或约束而下降。数据和代码可在https://github.com/mtkresearch/RAD-Bench 获取。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在检索增强对话场景下，如何有效利用检索信息进行多轮对话，并保持对话质量的问题。现有方法要么侧重于单轮检索增强生成，要么侧重于多轮对话能力，缺乏对两者结合的全面评估，导致LLM在实际应用中难以充分利用检索信息进行上下文推理和知识整合。

核心思路：论文的核心思路是构建一个专门用于评估LLM在检索增强多轮对话中表现的基准测试集RAD-Bench。该基准测试集包含一系列多轮对话场景，每个场景都包含检索到的上下文信息，并要求LLM根据这些信息进行对话，从而评估其检索合成和检索推理能力。

技术框架：RAD-Bench的整体框架包括以下几个主要步骤：1）构建包含多轮对话场景的数据集；2）为每个对话场景提供相关的检索上下文；3）设计判别性问题，用于评估LLM的检索合成和检索推理能力；4）提供参考答案，用于评估LLM生成答案的质量。该框架通过模拟真实的应用场景，全面评估LLM在检索增强对话中的能力。

关键创新：RAD-Bench的关键创新在于其专注于评估LLM在检索增强多轮对话中的能力，弥补了现有基准测试的不足。它通过设计判别性问题和提供参考答案，能够更准确地评估LLM的检索合成和检索推理能力，为LLM在实际应用中的部署提供更有价值的参考。

关键设计：RAD-Bench的关键设计包括：1）数据集的多样性，涵盖不同的对话主题和场景；2）检索上下文的质量，确保检索到的信息与对话相关且准确；3）判别性问题的设计，能够有效区分LLM的检索合成和检索推理能力；4）评估指标的选择，能够全面评估LLM生成答案的质量，包括准确性、相关性和流畅性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RAD-Bench对常用LLM的评估结果表明，即使提供准确的检索上下文，模型的性能也会随着对话轮次中应用的其他条件或约束而下降。这表明现有LLM在检索增强多轮对话中仍存在挑战，需要进一步的研究和改进。该基准测试集为未来的研究提供了一个有价值的评估工具。

🎯 应用场景

RAD-Bench的研究成果可应用于各种需要检索增强对话的场景，例如智能客服、问答系统、知识库检索等。通过使用RAD-Bench评估和优化LLM，可以提高这些应用在多轮对话中的表现，提供更准确、更相关的答案，从而提升用户体验和工作效率。该研究还有助于推动LLM在上下文感知和知识密集型任务中的应用。

📄 摘要（原文）

In real-world applications with Large Language Models (LLMs), external retrieval mechanisms - such as Search-Augmented Generation (SAG), tool utilization, and Retrieval-Augmented Generation (RAG) - are often employed to enhance the quality of augmented generations in dialogues. These approaches often come with multi-turn dialogue, where each interaction is enriched by relevant information retrieved from external sources. Existing benchmarks either assess LLMs' chat abilities in multi-turn dialogues or their use of retrieval for augmented responses in single-turn settings. However, there is a gap in evaluating LLMs' ability to leverage retrieval for more precise responses across multiple turns. To address this limitation, we introduce RAD-Bench (Retrieval Augmented Dialogue), a benchmark designed to evaluate LLMs' capabilities in multi-turn dialogues following retrievals, essential for their deployment in context-rich applications. RAD-Bench evaluates two key abilities of LLMs: Retrieval Synthesis and Retrieval Reasoning. These are measured using discriminative questions and retrieved contexts, and corresponding reference answers, assessing how effectively LLMs integrate and reason with context to maintain and enhance conversation quality over multiple turns. Our evaluation results on commonly used LLMs reveal that model performance deteriorates as additional layers of conditions or constraints are applied across conversation turns, even when accurate retrieved contexts are provided. The data and code are available at https://github.com/mtkresearch/RAD-Bench