GenQREnsemble: Zero-Shot LLM Ensemble Prompting for Generative Query Reformulation

📄 arXiv: 2404.03746v1 📥 PDF

作者: Kaustubh Dhole, Eugene Agichtein

分类: cs.IR, cs.AI, cs.CL

发布日期: 2024-04-04

备注: Accepted at ECIR 2024

DOI: 10.1007/978-3-031-56063-7_24

💡 一句话要点

提出GenQREnsemble以提升查询重构效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 查询重构 零-shot学习 集成提示 信息检索 自然语言处理 用户意图理解 检索性能提升

📋 核心要点

  1. 现有的查询重构方法在理解用户意图和生成有效查询方面存在局限，导致检索效果不佳。
  2. 论文提出的GenQREnsemble通过集成提示技术，利用零-shot指令的同义句生成多个关键词集，从而优化查询重构过程。
  3. 实验结果表明，GenQREnsemble在多个基准上显著提升了查询重构的效果，尤其在nDCG和MAP指标上表现突出。

📝 摘要（中文）

查询重构（QR）是一种将用户原始搜索查询转化为更符合其意图的文本的技术，旨在改善搜索体验。近期，零-shot QR因其利用大型语言模型内在知识的能力而受到关注。本文提出了一种基于集成提示的技术GenQREnsemble，利用零-shot指令的同义句生成多个关键词集，从而提升检索性能。此外，本文还引入了其后检索变体GenQREnsembleRF，以结合伪相关反馈。在四个信息检索基准上的评估显示，GenQREnsemble的相对nDCG@10提升高达18%，MAP提升高达24%。在MSMarco Passage Ranking任务中，GenQREnsembleRF在伪相关反馈下相对提升5% MRR，使用相关反馈文档时nDCG@10提升9%。

🔬 方法详解

问题定义：本文旨在解决现有查询重构方法在用户意图理解和有效查询生成方面的不足，导致检索效果不理想的问题。

核心思路：论文提出的GenQREnsemble通过集成提示技术，利用零-shot指令的同义句生成多个关键词集，以此来增强查询重构的多样性和有效性，从而提升检索性能。

技术框架：整体架构包括两个主要模块：首先是生成同义句的集成提示模块，其次是基于生成的关键词集进行检索的模块。通过这两个模块的协同工作，优化了查询重构的过程。

关键创新：最重要的技术创新在于将集成提示策略应用于查询重构领域，利用多个同义句生成不同的关键词集，从而显著提升了检索效果。这一方法与传统的单一查询重构方法形成鲜明对比。

关键设计：在参数设置上，采用了多样化的同义句生成策略，并在损失函数中引入了伪相关反馈机制，以进一步提高模型的检索性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GenQREnsemble在四个信息检索基准上相对提升nDCG@10高达18%，MAP提升高达24%。在MSMarco Passage Ranking任务中，GenQREnsembleRF在伪相关反馈下相对提升5% MRR，使用相关反馈文档时nDCG@10提升9%，展现了显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括搜索引擎优化、信息检索系统和智能问答系统等。通过提升查询重构的效果，能够显著改善用户的搜索体验，帮助用户更快速地找到所需信息，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Query Reformulation(QR) is a set of techniques used to transform a user's original search query to a text that better aligns with the user's intent and improves their search experience. Recently, zero-shot QR has been shown to be a promising approach due to its ability to exploit knowledge inherent in large language models. By taking inspiration from the success of ensemble prompting strategies which have benefited many tasks, we investigate if they can help improve query reformulation. In this context, we propose an ensemble based prompting technique, GenQREnsemble which leverages paraphrases of a zero-shot instruction to generate multiple sets of keywords ultimately improving retrieval performance. We further introduce its post-retrieval variant, GenQREnsembleRF to incorporate pseudo relevant feedback. On evaluations over four IR benchmarks, we find that GenQREnsemble generates better reformulations with relative nDCG@10 improvements up to 18% and MAP improvements upto 24% over the previous zero-shot state-of-art. On the MSMarco Passage Ranking task, GenQREnsembleRF shows relative gains of 5% MRR using pseudo-relevance feedback, and 9% nDCG@10 using relevant feedback documents.