Benchmarking Information Retrieval Models on Complex Retrieval Tasks

📄 arXiv: 2509.07253v1 📥 PDF

作者: Julian Killingback, Hamed Zamani

分类: cs.IR, cs.AI, cs.CL

发布日期: 2025-09-08

💡 一句话要点

构建复杂检索任务基准，评估并提升现有信息检索模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息检索 复杂检索任务 基准测试 大型语言模型 查询扩展 查询重写 检索模型评估 自然语言处理

📋 核心要点

  1. 现有检索模型难以处理包含多方面信息、约束或要求的复杂检索任务，限制了其应用场景。
  2. 构建包含多样化和真实场景的复杂检索任务数据集，作为评估和提升检索模型能力的基准。
  3. 实验表明现有模型在复杂检索任务上表现不佳，LLM增强对强模型效果有限，有待进一步研究。

📝 摘要（中文）

大型语言模型（LLMs）在文本任务中表现出色，催生了无数应用。相比之下，检索模型尚未出现同样强大的通用模型。为了实现这一目标，检索模型必须能够执行复杂的检索任务，即查询包含多个部分、约束或自然语言要求。这些任务代表了从简单、单方面查询到更高级的自然演进，正如人们使用基于LLM的信息系统所展示的那样。尽管对检索模型在复杂检索任务中扩展能力的需求日益增长，但评估模型在多样化复杂任务上的能力的资源有限，且缺乏真实设置。为了解决这一不足，并促进下一代检索模型的创新，我们构建了一个多样且真实的复杂检索任务集，并对一组代表性的最先进检索模型进行了基准测试。此外，我们还探讨了基于LLM的查询扩展和重写对检索质量的影响。结果表明，即使是最好的模型也难以产生高质量的检索结果，所有任务的平均nDCG@10仅为0.346，R@100仅为0.587。虽然LLM增强可以帮助较弱的模型，但最强模型在使用所有重写技术后，所有指标的性能都有所下降。

🔬 方法详解

问题定义：论文旨在解决现有信息检索模型在处理复杂检索任务时的能力不足问题。现有检索模型主要针对简单、单方面的查询进行优化，无法有效处理包含多个约束、要求或自然语言描述的复杂查询。这导致用户在面对复杂信息需求时，无法获得满意的检索结果。

核心思路：论文的核心思路是构建一个多样且真实的复杂检索任务数据集，作为评估和提升检索模型能力的基准。通过在该数据集上对现有模型进行基准测试，可以发现模型的不足之处，并为未来的模型改进提供方向。此外，论文还探索了利用大型语言模型（LLMs）进行查询扩展和重写，以提升检索性能。

技术框架：论文的技术框架主要包括以下几个部分：1) 构建复杂检索任务数据集：设计并收集包含多种类型复杂查询的数据集，确保数据集的多样性和真实性。2) 选择代表性的检索模型：选择一组最先进的检索模型，包括基于向量的模型和基于语言模型的模型。3) 进行基准测试：在构建的数据集上对选定的模型进行评估，使用nDCG@10和R@100等指标衡量检索性能。4) 探索LLM增强：利用LLM进行查询扩展和重写，并评估其对检索性能的影响。

关键创新：论文的关键创新在于构建了一个多样且真实的复杂检索任务数据集。该数据集涵盖了多种类型的复杂查询，能够更全面地评估检索模型在实际应用中的能力。此外，论文还对LLM增强在复杂检索任务中的效果进行了深入分析，为未来的研究提供了有价值的参考。

关键设计：论文在构建数据集时，考虑了查询的多样性和真实性，包括了不同领域、不同类型的复杂查询。在评估模型时，使用了nDCG@10和R@100等常用的检索指标，并对结果进行了详细的分析。在探索LLM增强时，使用了多种查询扩展和重写技术，并对不同技术的性能进行了比较。

📊 实验亮点

实验结果表明，现有最先进的检索模型在复杂检索任务上的表现仍然不佳，平均nDCG@10仅为0.346，R@100仅为0.587。虽然LLM增强可以帮助较弱的模型，但对最强模型而言，使用所有重写技术后，所有指标的性能都有所下降。这表明复杂检索任务对现有模型提出了更高的挑战，需要进一步的研究和改进。

🎯 应用场景

该研究成果可应用于各种信息检索系统，例如搜索引擎、问答系统和推荐系统。通过提升模型处理复杂查询的能力，可以改善用户体验，提高信息检索的效率和准确性。未来，该研究可以推动下一代检索模型的发展，使其能够更好地满足用户日益增长的复杂信息需求。

📄 摘要（原文）

Large language models (LLMs) are incredible and versatile tools for text-based tasks that have enabled countless, previously unimaginable, applications. Retrieval models, in contrast, have not yet seen such capable general-purpose models emerge. To achieve this goal, retrieval models must be able to perform complex retrieval tasks, where queries contain multiple parts, constraints, or requirements in natural language. These tasks represent a natural progression from the simple, single-aspect queries that are used in the vast majority of existing, commonly used evaluation sets. Complex queries naturally arise as people expect search systems to handle more specific and often ambitious information requests, as is demonstrated by how people use LLM-based information systems. Despite the growing desire for retrieval models to expand their capabilities in complex retrieval tasks, there exist limited resources to assess the ability of retrieval models on a comprehensive set of diverse complex tasks. The few resources that do exist feature a limited scope and often lack realistic settings making it hard to know the true capabilities of retrieval models on complex real-world retrieval tasks. To address this shortcoming and spur innovation in next-generation retrieval models, we construct a diverse and realistic set of complex retrieval tasks and benchmark a representative set of state-of-the-art retrieval models. Additionally, we explore the impact of LLM-based query expansion and rewriting on retrieval quality. Our results show that even the best models struggle to produce high-quality retrieval results with the highest average nDCG@10 of only 0.346 and R@100 of only 0.587 across all tasks. Although LLM augmentation can help weaker models, the strongest model has decreased performance across all metrics with all rewriting techniques.