QBD-RankedDataGen: Generating Custom Ranked Datasets for Improving Query-By-Document Search Using LLM-Reranking with Reduced Human Effort

📄 arXiv: 2505.04732v1 📥 PDF

作者: Sriram Gopalakrishnan, Sunandita Patra

分类: cs.IR, cs.AI

发布日期: 2025-05-07

备注: 13 pages

💡 一句话要点

QBD-RankedDataGen：利用LLM重排序生成定制排序数据集，提升Query-By-Document检索效果并减少人工成本

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Query-By-Document 信息检索 大型语言模型 数据生成 排序学习 领域特定检索 BM25 数据集构建

📋 核心要点

  1. 现有QBD检索方法依赖领域特定数据集优化，但人工构建数据集成本高昂且耗时，成为性能提升的瓶颈。
  2. QBD-RankedDataGen利用LLM结合领域专家知识，自动生成排序数据集，降低人工标注成本，提升检索模型训练效率。
  3. 实验表明，使用该方法生成的数据集微调BM25模型，在TREC的QBD数据集上取得了良好的效果，验证了方法的有效性。

📝 摘要（中文）

Query-By-Document (QBD) 是一种信息检索问题，其中查询是一个文档，检索出的候选文档是与查询文档匹配的文档，通常以领域或查询特定的方式进行。这对于专利匹配、法律或合规案例检索以及学术文献综述等任务至关重要。现有的检索方法，包括关键词搜索和文档嵌入，可以通过领域特定的数据集进行优化，以提高QBD搜索性能。然而，创建这些领域特定的数据集通常成本高昂且耗时。本文介绍了一种生成定制QBD搜索数据集的过程，并比较了一组用于解决此问题的方法，我们将其称为QBD-RankedDatagen。我们对所提出的方法在成本、速度以及与领域专家的交互方面进行了比较分析。我们比较的方法利用大型语言模型（LLM），这些模型可以结合领域专家的输入来生成文档分数和排名，以及供人工审查的解释。我们提出的过程和方法可以显著减少自定义领域数据集创建中的人工成本，同时仍然获得足够的专家知识来调整检索模型。我们在文本检索会议（TREC）的QBD数据集上评估了我们的方法，并使用生成的数据微调了BM25模型的参数——该模型用于许多工业级搜索引擎，如OpenSearch。

🔬 方法详解

问题定义：论文旨在解决Query-By-Document (QBD) 检索中，领域特定数据集构建成本高昂的问题。现有方法依赖人工标注，耗时费力，限制了QBD检索模型在特定领域的应用和优化。

核心思路：核心思路是利用大型语言模型（LLM）的语义理解和生成能力，结合领域专家的少量输入，自动生成高质量的排序数据集。通过LLM对候选文档进行打分和排序，并提供解释，辅助人工审查，从而显著降低人工标注的工作量。

技术框架：QBD-RankedDataGen的整体流程包括以下几个阶段：1) 领域专家提供少量种子数据和领域知识；2) LLM基于种子数据生成候选文档的排序列表和解释；3) 领域专家对LLM生成的排序结果进行审查和修正；4) 使用生成的数据集微调检索模型（如BM25）。

关键创新：关键创新在于利用LLM进行数据增强和排序，将领域专家的知识融入到数据生成过程中，从而在减少人工干预的同时，保证数据集的质量。与传统的人工标注方法相比，该方法能够显著降低数据集构建的成本和时间。

关键设计：论文比较了不同的LLM提示策略和排序方法，以优化数据集的生成效果。此外，论文还探讨了领域专家参与审查的程度对最终检索性能的影响。具体的技术细节（如损失函数、网络结构等）取决于所使用的LLM和检索模型。

📊 实验亮点

论文在TREC的QBD数据集上进行了实验，结果表明，使用QBD-RankedDataGen生成的数据集微调BM25模型，能够显著提高检索性能。具体的性能提升幅度取决于领域专家参与审查的程度和LLM的选择。实验结果验证了该方法在降低人工成本的同时，保证检索性能的有效性。

🎯 应用场景

该研究成果可广泛应用于需要领域特定QBD检索的场景，如专利匹配、法律案例检索、学术文献综述等。通过降低数据集构建成本，可以加速领域特定检索模型的开发和部署，提高信息检索的效率和准确性。未来，该方法可以扩展到其他信息检索任务和领域。

📄 摘要（原文）

The Query-By-Document (QBD) problem is an information retrieval problem where the query is a document, and the retrieved candidates are documents that match the query document, often in a domain or query specific manner. This can be crucial for tasks such as patent matching, legal or compliance case retrieval, and academic literature review. Existing retrieval methods, including keyword search and document embeddings, can be optimized with domain-specific datasets to improve QBD search performance. However, creating these domain-specific datasets is often costly and time-consuming. Our work introduces a process to generate custom QBD-search datasets and compares a set of methods to use in this problem, which we refer to as QBD-RankedDatagen. We provide a comparative analysis of our proposed methods in terms of cost, speed, and the human interface with the domain experts. The methods we compare leverage Large Language Models (LLMs) which can incorporate domain expert input to produce document scores and rankings, as well as explanations for human review. The process and methods for it that we present can significantly reduce human effort in dataset creation for custom domains while still obtaining sufficient expert knowledge for tuning retrieval models. We evaluate our methods on QBD datasets from the Text Retrieval Conference (TREC) and finetune the parameters of the BM25 model -- which is used in many industrial-strength search engines like OpenSearch -- using the generated data.