Enhancing Conversational Search: Large Language Model-Aided Informative Query Rewriting

📄 arXiv: 2310.09716v2 📥 PDF

作者: Fanghua Ye, Meng Fang, Shenghui Li, Emine Yilmaz

分类: cs.HC, cs.AI, cs.CL, cs.IR

发布日期: 2023-10-15 (更新: 2023-10-18)

备注: 22 pages, accepted to EMNLP Findings 2023

💡 一句话要点

提出大语言模型辅助的信息查询重写方法以提升对话搜索性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 查询重写 大语言模型 对话搜索 信息检索 机器学习

📋 核心要点

  1. 现有的查询重写方法主要依赖人工重写的查询，可能导致信息不足，影响检索效果。
  2. 本文提出利用大语言模型生成信息丰富的查询重写，并引入重写编辑器进行后续编辑。
  3. 实验结果显示，信息丰富的查询重写在QReCC数据集上显著提高了检索性能，尤其在稀疏检索器中表现突出。

📝 摘要（中文）

查询重写在提升对话搜索中起着重要作用，通过将上下文依赖的用户查询转化为独立形式来增强检索效果。现有方法主要依赖人工重写的查询作为标签来训练查询重写模型，但人工重写可能缺乏足够的信息以实现最佳检索性能。为克服这一局限，本文提出利用大语言模型（LLMs）作为查询重写器，通过精心设计的指令生成信息丰富的查询重写。此外，本文引入了重写编辑器的角色，形成“重写-再编辑”的过程，并提出将LLMs的重写能力蒸馏到更小的模型中，以减少重写延迟。实验结果表明，与人工重写相比，信息丰富的查询重写在稀疏检索器上显著提升了检索性能。

🔬 方法详解

问题定义：本文旨在解决现有查询重写方法中人工重写信息不足的问题，导致检索性能不佳。

核心思路：通过利用大语言模型（LLMs）生成信息丰富的查询重写，结合重写编辑器进行后续优化，提升查询的独立性和有效性。

技术框架：整体架构包括查询重写模块和重写编辑模块，首先由LLMs生成初步的查询重写，然后通过编辑器进行进一步的优化，形成最终的查询。

关键创新：最重要的创新在于将大语言模型应用于查询重写，并引入“重写-再编辑”的流程，显著提高了查询的质量和检索效果。

关键设计：在设计中，定义了四个有效重写的基本属性，并将其整合到指令中，确保生成的查询重写具备高信息量和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用大语言模型生成的信息丰富查询重写在QReCC数据集上相比于人工重写提升了检索性能，尤其在稀疏检索器中，性能提升幅度显著，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能搜索引擎、对话系统和信息检索等，能够显著提升用户查询的准确性和检索效率。未来，该方法有望在多种自然语言处理任务中得到推广，推动对话搜索技术的发展。

📄 摘要（原文）

Query rewriting plays a vital role in enhancing conversational search by transforming context-dependent user queries into standalone forms. Existing approaches primarily leverage human-rewritten queries as labels to train query rewriting models. However, human rewrites may lack sufficient information for optimal retrieval performance. To overcome this limitation, we propose utilizing large language models (LLMs) as query rewriters, enabling the generation of informative query rewrites through well-designed instructions. We define four essential properties for well-formed rewrites and incorporate all of them into the instruction. In addition, we introduce the role of rewrite editors for LLMs when initial query rewrites are available, forming a "rewrite-then-edit" process. Furthermore, we propose distilling the rewriting capabilities of LLMs into smaller models to reduce rewriting latency. Our experimental evaluation on the QReCC dataset demonstrates that informative query rewrites can yield substantially improved retrieval performance compared to human rewrites, especially with sparse retrievers.