Few-shot Prompting for Pairwise Ranking: An Effective Non-Parametric Retrieval Model

📄 arXiv: 2409.17745v3 📥 PDF

作者: Nilanjan Sinhababu, Andrew Parry, Debasis Ganguly, Debasis Samanta, Pabitra Mitra

分类: cs.IR, cs.CL, cs.LG

发布日期: 2024-09-26 (更新: 2024-10-04)

备注: Accepted to EMNLP 2024

💡 一句话要点

提出基于少量样本提示的Pairwise排序方法，有效提升非参数检索模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息检索 排序模型 少量样本学习 提示学习 大型语言模型

📋 核心要点

  1. 有监督排序模型效果好，但需要复杂的预训练和微调流程，部署成本高。
  2. 利用少量样本提示，为待排序的查询-文档对提供相似查询的偏好示例，提升排序准确率。
  3. 实验表明，该方法在TREC DL和BEIR数据集上均优于零样本方法，且性能接近有监督模型。

📝 摘要（中文）

有监督排序模型虽然有效，但通常涉及复杂的处理流程，包括多阶段的任务特定预训练和微调。这促使研究人员探索更简单的pipeline，利用大型语言模型(LLM)进行零样本推理。然而，由于零样本推理不使用查询及其相关文档对的训练集，其性能通常不如在这些示例对上训练的有监督模型。受训练样本通常能提高零样本性能的发现的启发，本文探讨了这是否也适用于排序模型。具体而言，给定一个查询和一对文档，通过增加来自训练集中相似查询的偏好示例来改进偏好预测任务。所提出的pairwise少量样本排序器在领域内(TREC DL)和领域外(BEIR子集)检索基准上都表现出优于零样本基线的性能。该方法在不需要任何复杂训练pipeline的情况下，也实现了与有监督模型相近的性能。

🔬 方法详解

问题定义：论文旨在解决零样本排序模型性能不足的问题。现有零样本排序模型不利用任何训练数据，导致排序效果不如有监督模型。有监督模型虽然效果好，但需要复杂的训练流程，包括预训练和微调，计算成本高昂。

核心思路：论文的核心思路是利用少量样本提示（few-shot prompting）来提升零样本排序模型的性能。具体来说，对于给定的查询和一对文档，模型会参考训练集中相似查询的排序偏好，从而更好地预测当前查询-文档对的排序关系。

技术框架：整体框架包括以下步骤：1）对于给定的查询和一对文档，从训练集中检索与该查询相似的查询；2）将检索到的相似查询及其对应的文档排序偏好作为提示信息，输入到大型语言模型中；3）利用大型语言模型预测当前查询-文档对的排序偏好。

关键创新：关键创新在于将少量样本提示应用于pairwise排序任务。通过引入相似查询的排序信息，模型可以更好地理解查询的语义，从而做出更准确的排序决策。与传统的有监督模型相比，该方法不需要复杂的训练流程，降低了计算成本。

关键设计：论文的关键设计包括：1）使用余弦相似度来衡量查询之间的相似性；2）选择Top-K个相似查询作为提示信息；3）使用大型语言模型（如GPT-3）来预测排序偏好；4）使用pairwise ranking loss作为损失函数，优化模型参数（如果需要微调）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在TREC DL和BEIR数据集上均取得了显著的性能提升。在TREC DL数据集上，该方法优于零样本基线，并且性能接近有监督模型。在BEIR数据集上，该方法也表现出良好的泛化能力，证明了其在不同领域中的有效性。

🎯 应用场景

该研究成果可应用于各种信息检索场景，例如网页搜索、问答系统、推荐系统等。通过少量样本提示，可以快速构建高性能的排序模型，降低模型部署成本。该方法尤其适用于冷启动场景，即缺乏训练数据的场景。

📄 摘要（原文）

A supervised ranking model, despite its advantage of being effective, usually involves complex processing - typically multiple stages of task-specific pre-training and fine-tuning. This has motivated researchers to explore simpler pipelines leveraging large language models (LLMs) that are capable of working in a zero-shot manner. However, since zero-shot inference does not make use of a training set of pairs of queries and their relevant documents, its performance is mostly worse than that of supervised models, which are trained on such example pairs. Motivated by the existing findings that training examples generally improve zero-shot performance, in our work, we explore if this also applies to ranking models. More specifically, given a query and a pair of documents, the preference prediction task is improved by augmenting examples of preferences for similar queries from a training set. Our proposed pairwise few-shot ranker demonstrates consistent improvements over the zero-shot baseline on both in-domain (TREC DL) and out-domain (BEIR subset) retrieval benchmarks. Our method also achieves a close performance to that of a supervised model without requiring any complex training pipeline.