Re-Ranking Step by Step: Investigating Pre-Filtering for Re-Ranking with Large Language Models

📄 arXiv: 2406.18740v1 📥 PDF

作者: Baharan Nouriinanloo, Maxime Lamothe

分类: cs.CL, cs.IR

发布日期: 2024-06-26

💡 一句话要点

提出基于预过滤的重排序方法，提升小模型在大语言模型重排序中的竞争力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息检索 段落重排序 大型语言模型 预过滤 小模型 相关性评分 零样本学习

📋 核心要点

  1. 现有段落重排序严重依赖大型专有语言模型，资源受限用户处于劣势。
  2. 提出预过滤方法，利用少量人工标注和LLM评分过滤不相关段落，提升重排序效果。
  3. 实验表明，预过滤能使小模型（如Mixtral）与大型专有模型（如ChatGPT、GPT-4）竞争。

📝 摘要（中文）

大型语言模型（LLM）凭借其强大的零样本能力，正在革新自然语言处理的诸多任务。现有研究表明，LLM在信息检索（IR）和段落排序等任务中表现出色。然而，当前最佳结果严重依赖于所使用的LLM的性能。目前，GPT-4等专有的超大型LLM是性能最高的段落重排序器。因此，缺乏资源利用顶级LLM或闭源LLM的用户处于劣势。本文研究了在IR中段落重排序之前使用预过滤步骤。实验表明，通过少量人工生成的相关性分数以及LLM相关性评分，可以有效地过滤掉不相关的段落，然后再进行重排序。实验还表明，这种预过滤使得LLM在重排序任务中表现更好。结果表明，Mixtral等较小的模型可以与更大的专有模型（如ChatGPT和GPT-4）竞争。

🔬 方法详解

问题定义：论文旨在解决资源受限用户无法有效利用大型语言模型进行段落重排序的问题。现有方法依赖于计算资源密集型的大型专有模型，使得小模型难以达到具有竞争力的性能。因此，如何降低对大型模型的依赖，提升小模型重排序效果是本文要解决的核心问题。

核心思路：论文的核心思路是在重排序之前引入一个预过滤步骤，先使用少量人工标注数据和LLM评分来过滤掉明显不相关的段落，从而减少后续重排序阶段需要处理的段落数量，降低计算成本，并提升LLM的重排序效果。这样设计的目的是为了让LLM能够更专注于相关性更高的段落，从而提高整体性能。

技术框架：整体流程包含以下两个主要阶段：1) 预过滤阶段：使用少量人工标注的相关性分数，结合LLM对候选段落进行相关性评分，并设定阈值过滤掉低相关性的段落。2) 重排序阶段：对经过预过滤的段落，使用LLM进行更精细的重排序，得到最终的排序结果。

关键创新：最重要的技术创新点在于引入了预过滤步骤，将LLM的应用分为粗粒度的过滤和细粒度的重排序两个阶段。这种分阶段的方法能够有效降低计算复杂度，并提升小模型在重排序任务中的竞争力。与现有方法直接使用LLM进行重排序相比，该方法能够更有效地利用LLM的计算资源，并减少对大型模型的依赖。

关键设计：预过滤阶段的关键设计在于如何结合人工标注数据和LLM评分来确定过滤阈值。具体的技术细节包括：选择合适的LLM进行相关性评分，设计有效的评分提示词（prompt），以及确定合适的阈值来平衡过滤掉不相关段落和保留相关段落之间的trade-off。此外，重排序阶段的LLM选择和提示词设计也会影响最终的排序效果。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，通过预过滤步骤，较小的模型（如Mixtral）在重排序任务中可以与更大的专有模型（如ChatGPT和GPT-4）竞争。这表明预过滤能够有效提升小模型的性能，使其在资源受限的环境下也能达到具有竞争力的水平。具体的性能数据和提升幅度需要在论文中查找。

🎯 应用场景

该研究成果可应用于各种信息检索场景，例如搜索引擎、问答系统、推荐系统等。通过预过滤步骤，可以降低对大型语言模型的依赖，使得资源受限的用户也能构建高性能的检索系统。该方法还有助于提升检索效率，减少计算成本，并促进小型语言模型在信息检索领域的应用。

📄 摘要（原文）

Large Language Models (LLMs) have been revolutionizing a myriad of natural language processing tasks with their diverse zero-shot capabilities. Indeed, existing work has shown that LLMs can be used to great effect for many tasks, such as information retrieval (IR), and passage ranking. However, current state-of-the-art results heavily lean on the capabilities of the LLM being used. Currently, proprietary, and very large LLMs such as GPT-4 are the highest performing passage re-rankers. Hence, users without the resources to leverage top of the line LLMs, or ones that are closed source, are at a disadvantage. In this paper, we investigate the use of a pre-filtering step before passage re-ranking in IR. Our experiments show that by using a small number of human generated relevance scores, coupled with LLM relevance scoring, it is effectively possible to filter out irrelevant passages before re-ranking. Our experiments also show that this pre-filtering then allows the LLM to perform significantly better at the re-ranking task. Indeed, our results show that smaller models such as Mixtral can become competitive with much larger proprietary models (e.g., ChatGPT and GPT-4).