Generative Query Reformulation Using Ensemble Prompting, Document Fusion, and Relevance Feedback

📄 arXiv: 2405.17658v1 📥 PDF

作者: Kaustubh D. Dhole, Ramraj Chandradevan, Eugene Agichtein

分类: cs.IR, cs.CL

发布日期: 2024-05-27

备注: Extended Work of GenQREnsemble: Zero-Shot LLM Ensemble Prompting for Generative Query Reformulation, Dhole and Agichtein, ECIR 2024. arXiv admin note: text overlap with arXiv:2404.03746

💡 一句话要点

提出基于集成提示的查询重构方法以提升检索效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 查询重构 集成提示 信息检索 用户意图 机器学习

📋 核心要点

  1. 现有的查询重构方法在理解用户意图和生成有效查询方面存在局限，导致检索效果不佳。
  2. 本文提出的GenQREnsemble和GenQRFusion方法，通过集成提示技术生成多个关键词集，以增强检索性能。
  3. 实验结果显示，集成查询重构在预检索和后检索设置中分别提升了18%和9%的检索效果，超越了现有的最优结果。

📝 摘要（中文）

查询重构（QR）是一系列技术，用于将用户的原始搜索查询转化为更符合其意图的文本，从而改善搜索体验。近年来，零-shot QR因其利用大型语言模型的内在知识而受到关注。本文提出了两种基于集成提示的技术，GenQREnsemble和GenQRFusion，利用零-shot指令的同义改写生成多个关键词集，以提升检索性能。此外，本文还引入了后检索变体，结合来自多种来源的相关反馈。实验结果表明，集成查询重构在多个基准测试中，预检索设置下提升了高达18%的nDCG@10，后检索设置下提升了9%，超越了所有已报告的最新结果。本文的技术和结果为自动化查询重构设立了新的研究标杆，并为未来研究指明了方向。

🔬 方法详解

问题定义：本文旨在解决现有查询重构方法在用户意图理解和检索效果提升方面的不足，尤其是在零-shot设置下的表现。

核心思路：通过引入集成提示策略，利用同义改写生成多个查询变体，从而更好地捕捉用户意图并提高检索效果。

技术框架：整体架构包括预检索和后检索两个阶段，前者通过GenQREnsemble和GenQRFusion生成多个关键词集，后者结合相关反馈进行优化。

关键创新：最重要的创新在于引入集成提示技术，利用多个查询变体的组合来提升检索效果，这与传统单一查询重构方法形成鲜明对比。

关键设计：在参数设置上，采用多样化的同义改写策略，并设计了针对反馈文档的过滤机制，以确保生成的查询更流畅且符合用户需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，集成查询重构方法在多个基准测试中，预检索设置下的nDCG@10提升了18%，后检索设置下提升了9%，超越了所有已报告的最新结果，展现出显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括搜索引擎优化、智能问答系统和信息检索等。通过提升查询重构的效果，可以显著改善用户的搜索体验，帮助用户更快速地找到所需信息，具有重要的实际价值和未来影响。

📄 摘要（原文）

Query Reformulation (QR) is a set of techniques used to transform a user's original search query to a text that better aligns with the user's intent and improves their search experience. Recently, zero-shot QR has been a promising approach due to its ability to exploit knowledge inherent in large language models. Inspired by the success of ensemble prompting strategies which have benefited other tasks, we investigate if they can improve query reformulation. In this context, we propose two ensemble-based prompting techniques, GenQREnsemble and GenQRFusion which leverage paraphrases of a zero-shot instruction to generate multiple sets of keywords to improve retrieval performance ultimately. We further introduce their post-retrieval variants to incorporate relevance feedback from a variety of sources, including an oracle simulating a human user and a "critic" LLM. We demonstrate that an ensemble of query reformulations can improve retrieval effectiveness by up to 18% on nDCG@10 in pre-retrieval settings and 9% on post-retrieval settings on multiple benchmarks, outperforming all previously reported SOTA results. We perform subsequent analyses to investigate the effects of feedback documents, incorporate domain-specific instructions, filter reformulations, and generate fluent reformulations that might be more beneficial to human searchers. Together, the techniques and the results presented in this paper establish a new state of the art in automated query reformulation for retrieval and suggest promising directions for future research.