An Investigation of Prompt Variations for Zero-shot LLM-based Rankers

📄 arXiv: 2406.14117v4 📥 PDF

作者: Shuoqi Sun, Shengyao Zhuang, Shuai Wang, Guido Zuccon

分类: cs.IR, cs.CL

发布日期: 2024-06-20 (更新: 2025-07-25)

备注: Accepted for publication at the 47th European Conference on Information Retrieval (ECIR 2025)

期刊: Proceedings of the 47th European Conference on Information Retrieval (ECIR 2025)

DOI: 10.1007/978-3-031-88711-6_12

💡 一句话要点

探究Prompt变体对零样本LLM排序器性能的影响，揭示Prompt工程的重要性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零样本学习 大型语言模型 信息检索 排序学习 Prompt工程 自然语言处理 LLM排序

📋 核心要点

  1. 现有零样本LLM排序方法在排序算法、LLM backbone和Prompt设计上存在差异，难以确定性能提升的真正来源。
  2. 该研究通过大规模实验，系统性地分析了Prompt的组成部分和措辞对零样本LLM排序器性能的影响。
  3. 实验表明，Prompt设计对排序器性能的影响有时甚至超过排序算法本身，强调了Prompt工程的重要性。

📝 摘要（中文）

本文系统性地研究了Prompt中的特定组成部分和措辞对基于零样本大型语言模型（LLM）的排序器有效性的影响。最近提出了几种基于LLM的零样本排序方法。这些方法在多个方面存在差异，包括（1）它们实现的排序算法，例如pointwise与listwise；（2）使用的backbone LLM，例如GPT3.5与FLAN-T5；（3）Prompt中使用的组成部分和措辞，例如是否使用角色定义（角色扮演）以及表达此意的实际用词。目前尚不清楚性能差异是由于底层排序算法造成的，还是由于Prompt中使用的词语选择更好等虚假因素造成的。这种混淆可能会削弱未来的研究。通过我们的大规模实验和分析，我们发现排序算法确实对零样本LLM排序方法之间的差异有贡献。然而，LLM backbone也是如此——但更重要的是，Prompt组成部分和措辞的选择会影响排序。事实上，在我们的实验中，我们发现，有时，后者的元素对排序器的有效性影响大于实际的排序算法，并且当考虑Prompt变体时，排序方法之间的差异变得更加模糊。

🔬 方法详解

问题定义：论文旨在解决零样本LLM排序中，由于Prompt设计差异导致性能评估不准确的问题。现有方法难以区分排序算法、LLM backbone和Prompt设计对排序性能的各自影响，导致研究结论可能存在偏差。

核心思路：论文的核心思路是通过系统性地控制和改变Prompt的各个组成部分和措辞，来评估它们对排序性能的影响。通过大规模实验，分析不同Prompt变体下，各种排序算法和LLM backbone的性能表现，从而揭示Prompt设计的重要性。

技术框架：该研究主要通过实验分析来探究Prompt的影响。具体流程包括： 1. 选择不同的零样本LLM排序算法（如pointwise, listwise）。 2. 选择不同的LLM backbone（如GPT3.5, FLAN-T5）。 3. 设计不同的Prompt变体，包括角色定义、措辞等。 4. 在标准数据集上进行实验，评估不同配置下的排序性能。 5. 分析实验结果，量化Prompt设计对性能的影响。

关键创新：该研究的关键创新在于系统性地研究了Prompt设计对零样本LLM排序性能的影响，并发现Prompt设计的重要性有时甚至超过排序算法本身。这颠覆了以往研究中对排序算法的过度关注，强调了Prompt工程在LLM排序中的关键作用。

关键设计：论文的关键设计在于Prompt变体的设计，包括是否使用角色定义（role-playing），以及如何措辞来表达排序任务。例如，可以尝试不同的角色设定（如“专家”、“助理”），或者使用不同的词语来描述文档的相关性（如“相关”、“有用”、“重要”）。此外，实验中还需控制其他变量，如LLM的温度系数等，以确保实验结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Prompt的组成部分和措辞对排序器的有效性影响有时甚至大于实际的排序算法。在某些情况下，Prompt变体的影响超过了不同排序算法之间的差异，这强调了Prompt工程在零样本LLM排序中的重要性。

🎯 应用场景

该研究成果可应用于信息检索、推荐系统、问答系统等领域，帮助研究人员和工程师更好地利用LLM进行排序任务。通过优化Prompt设计，可以显著提升LLM排序器的性能，从而改善用户体验，提高信息检索的效率。

📄 摘要（原文）

We provide a systematic understanding of the impact of specific components and wordings used in prompts on the effectiveness of rankers based on zero-shot Large Language Models (LLMs). Several zero-shot ranking methods based on LLMs have recently been proposed. Among many aspects, methods differ across (1) the ranking algorithm they implement, e.g., pointwise vs. listwise, (2) the backbone LLMs used, e.g., GPT3.5 vs. FLAN-T5, (3) the components and wording used in prompts, e.g., the use or not of role-definition (role-playing) and the actual words used to express this. It is currently unclear whether performance differences are due to the underlying ranking algorithm, or because of spurious factors such as better choice of words used in prompts. This confusion risks to undermine future research. Through our large-scale experimentation and analysis, we find that ranking algorithms do contribute to differences between methods for zero-shot LLM ranking. However, so do the LLM backbones -- but even more importantly, the choice of prompt components and wordings affect the ranking. In fact, in our experiments, we find that, at times, these latter elements have more impact on the ranker's effectiveness than the actual ranking algorithms, and that differences among ranking methods become more blurred when prompt variations are considered.