A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look

📄 arXiv: 2411.08275v1 📥 PDF

作者: Shivani Upadhyay, Ronak Pradeep, Nandan Thakur, Daniel Campos, Nick Craswell, Ian Soboroff, Hoa Trang Dang, Jimmy Lin

分类: cs.IR, cs.CL

发布日期: 2024-11-13

💡 一句话要点

利用大语言模型进行相关性评估的大规模研究，探索LLM在信息检索中的应用。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 相关性评估 信息检索 TREC RAG UMBRELLA 自动化评估

📋 核心要点

  1. 现有信息检索系统依赖人工进行相关性评估，成本高昂且效率低下，难以适应大规模评估需求。
  2. 论文提出利用大语言模型（LLM）自动生成相关性评估，旨在降低成本并提高评估效率。
  3. 实验结果表明，LLM自动评估与人工评估具有高度相关性，可在一定程度上替代人工评估，但LLM辅助并未显著提升相关性。

📝 摘要（中文）

本文报告了一项大规模评估（TREC 2024 RAG Track）的结果，该评估在原位部署了四种不同的相关性评估方法：NIST实施了几十年的“标准”完全手动流程，以及三种利用开源UMBRELLA工具，在不同程度上利用LLM的替代方案。这种设置允许我们关联不同方法引起的系统排名，以表征成本和质量之间的权衡。我们发现，在nDCG@20、nDCG@100和Recall@100方面，来自UMBRELLA自动生成的相关性评估所引起的系统排名，与来自19个团队的77个运行的完全手动评估所引起的系统排名高度相关。我们的结果表明，自动生成的UMBRELLA判断可以取代完全手动判断，以准确捕获运行级别的有效性。令人惊讶的是，我们发现LLM辅助似乎并没有增加与完全手动评估的相关性，这表明与人机协作流程相关的成本并没有带来明显的实际效益。总的来说，人工评估员在应用相关性标准时似乎比UMBRELLA更严格。我们的工作验证了LLM在学术TREC式评估中的使用，并为未来的研究奠定了基础。

🔬 方法详解

问题定义：论文旨在解决信息检索领域中，大规模相关性评估依赖人工标注，导致成本高昂、效率低下的问题。现有方法难以快速、经济地评估大量检索结果，阻碍了信息检索系统的发展。

核心思路：论文的核心思路是利用大语言模型（LLM）的强大文本理解和生成能力，自动生成相关性评估。通过训练LLM理解相关性标准，并对检索结果进行打分，从而替代或辅助人工评估。这样可以显著降低评估成本，并提高评估效率。

技术框架：论文采用TREC 2024 RAG Track的数据集，并使用UMBRELLA工具进行实验。该框架包含以下几个主要模块：1) 数据预处理：对检索结果和相关文档进行清洗和格式化。2) LLM评估：使用预训练的LLM对检索结果进行相关性评估，生成相关性得分。3) 人工评估：采用传统的完全人工评估方法，作为基准。4) 结果比较：比较LLM评估和人工评估的系统排名，计算相关性指标。

关键创新：论文的关键创新在于探索了LLM在相关性评估中的应用潜力，并验证了LLM自动评估与人工评估的高度相关性。此外，论文还比较了不同LLM辅助策略的效果，发现LLM辅助并未显著提升相关性，这为未来的研究提供了新的方向。

关键设计：论文使用了nDCG@20、nDCG@100和Recall@100等指标来评估系统排名的相关性。实验中对比了四种不同的相关性评估方法：完全人工评估、UMBRELLA自动评估、LLM辅助人工评估等。具体LLM的选择、prompt的设计、以及相关性得分的计算方法等细节在论文中未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UMBRELLA自动生成的相关性评估与完全人工评估在nDCG@20、nDCG@100和Recall@100等指标上具有高度相关性。这表明LLM自动评估可以在一定程度上替代人工评估，从而降低评估成本。令人惊讶的是，LLM辅助并未显著提升相关性，这为未来的研究提供了新的方向。

🎯 应用场景

该研究成果可应用于大规模信息检索系统的评估，例如搜索引擎、问答系统等。通过利用LLM自动生成相关性评估，可以降低评估成本，加速系统迭代和优化。此外，该研究也为LLM在信息检索领域的应用提供了新的思路和方向。

📄 摘要（原文）

The application of large language models to provide relevance assessments presents exciting opportunities to advance information retrieval, natural language processing, and beyond, but to date many unknowns remain. This paper reports on the results of a large-scale evaluation (the TREC 2024 RAG Track) where four different relevance assessment approaches were deployed in situ: the "standard" fully manual process that NIST has implemented for decades and three different alternatives that take advantage of LLMs to different extents using the open-source UMBRELA tool. This setup allows us to correlate system rankings induced by the different approaches to characterize tradeoffs between cost and quality. We find that in terms of nDCG@20, nDCG@100, and Recall@100, system rankings induced by automatically generated relevance assessments from UMBRELA correlate highly with those induced by fully manual assessments across a diverse set of 77 runs from 19 teams. Our results suggest that automatically generated UMBRELA judgments can replace fully manual judgments to accurately capture run-level effectiveness. Surprisingly, we find that LLM assistance does not appear to increase correlation with fully manual assessments, suggesting that costs associated with human-in-the-loop processes do not bring obvious tangible benefits. Overall, human assessors appear to be stricter than UMBRELA in applying relevance criteria. Our work validates the use of LLMs in academic TREC-style evaluations and provides the foundation for future studies.