Towards Lighter and Robust Evaluation for Retrieval Augmented Generation

📄 arXiv: 2503.16161v1 📥 PDF

作者: Alex-Razvan Ispas, Charles-Elie Simon, Fabien Caspani, Vincent Guigue

分类: cs.CL, cs.AI

发布日期: 2025-03-20

备注: 17 pages, 5 figures, published at 1st workshop of Quantify Uncertainty and Hallucination in Foundation Models: The Next Frontier in Reliable AI at ICLR 25

💡 一句话要点

提出轻量级RAG评估方法，利用量化LLM实现低成本、可解释的幻觉检测。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 RAG评估 幻觉检测 量化LLM 开放权重模型

📋 核心要点

  1. 现有RAG评估依赖昂贵的商业LLM，成本高且透明度不足，难以深入分析模型决策过程。
  2. 利用小型量化开放权重LLM，构建轻量级评估框架，提供连续的正确性和忠实度评分，实现可解释的幻觉检测。
  3. 通过连续评分，可以探索阈值，开发新的AUC指标，作为与人类判断相关的替代方案，提升评估的可靠性。

📝 摘要（中文）

大型语言模型正推动我们将更多NLP任务视为生成式任务。同时，它们也提供了一种新的信息访问方式，主要通过RAG框架。尽管自回归模型取得了显著改进，但克服生成答案中的幻觉仍然是一个持续存在的问题。一个标准的解决方案是使用商业LLM，如GPT4，来评估这些算法。然而，这种框架成本高昂且不够透明。因此，我们提出一项研究，证明了开放权重模型在评估RAG幻觉方面的价值。我们开发了一种轻量级方法，使用较小的量化LLM来提供一种可访问且可解释的指标，该指标为生成的答案提供关于其正确性和忠实度的连续分数。这个分数允许我们质疑决策的可靠性，并探索阈值以开发一种新的AUC指标，作为与人类判断相关的替代方案。

🔬 方法详解

问题定义：论文旨在解决检索增强生成（RAG）系统中生成答案的幻觉问题，即模型生成不真实或与检索到的上下文不一致的内容。现有评估方法主要依赖于昂贵的商业LLM（如GPT-4），这不仅增加了成本，也缺乏透明度，难以深入理解评估结果背后的原因。

核心思路：论文的核心思路是利用小型、量化的开放权重LLM来构建一个轻量级的评估框架。通过量化，降低了模型的计算和存储成本，使其更易于部署和使用。开放权重则保证了评估过程的透明性和可解释性。该框架旨在提供一个连续的评分，反映生成答案的正确性和忠实度。

技术框架：该评估框架主要包含以下几个阶段：1）输入：RAG模型生成的答案和检索到的上下文；2）评估模型：使用小型量化的开放权重LLM作为评估模型；3）评分：评估模型对答案的正确性和忠实度进行评分，输出一个连续的分数；4）分析：基于连续分数，可以设定阈值，并计算AUC等指标，用于评估RAG模型的性能。

关键创新：该论文的关键创新在于提出了一个轻量级、可解释的RAG评估方法，避免了对昂贵商业LLM的依赖。通过使用小型量化的开放权重LLM，降低了评估成本，提高了透明度。此外，连续评分的设计允许更细粒度的分析和阈值调整，从而更好地评估RAG模型的性能。

关键设计：论文的关键设计包括：1）选择合适的小型开放权重LLM作为评估模型；2）采用量化技术，降低模型的计算和存储成本；3）设计合适的评分机制，以准确反映答案的正确性和忠实度；4）探索不同的阈值设定方法，并计算AUC等指标，用于评估RAG模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出了一种基于小型量化LLM的轻量级RAG评估方法，有效降低了评估成本，并提高了评估结果的可解释性。通过连续评分和AUC指标，可以更准确地评估RAG模型的性能，为RAG系统的优化和改进提供了新的思路。

🎯 应用场景

该研究成果可广泛应用于各种需要检索增强生成的场景，例如问答系统、对话机器人、知识库构建等。通过使用轻量级的评估方法，可以降低RAG模型的开发和部署成本，提高模型的可信度和可靠性，并促进RAG技术在实际应用中的普及。

📄 摘要（原文）

Large Language Models are prompting us to view more NLP tasks from a generative perspective. At the same time, they offer a new way of accessing information, mainly through the RAG framework. While there have been notable improvements for the autoregressive models, overcoming hallucination in the generated answers remains a continuous problem. A standard solution is to use commercial LLMs, such as GPT4, to evaluate these algorithms. However, such frameworks are expensive and not very transparent. Therefore, we propose a study which demonstrates the interest of open-weight models for evaluating RAG hallucination. We develop a lightweight approach using smaller, quantized LLMs to provide an accessible and interpretable metric that gives continuous scores for the generated answer with respect to their correctness and faithfulness. This score allows us to question decisions' reliability and explore thresholds to develop a new AUC metric as an alternative to correlation with human judgment.