Contextualizing Search Queries In-Context Learning for Conversational Rewriting with LLMs

📄 arXiv: 2502.15009v1 📥 PDF

作者: Raymond Wilson, Chase Carter, Cole Graham

分类: cs.CL

发布日期: 2025-02-20

💡 一句话要点

提出Prompt引导的上下文学习方法，解决低资源对话式查询重写问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话式查询重写 上下文学习 大型语言模型 低资源学习 Prompt工程

📋 核心要点

  1. 现有对话式查询重写方法依赖大量标注数据，在低资源场景下表现不佳。
  2. 提出Prompt引导的上下文学习，利用LLM的上下文学习能力，通过少量示例进行查询重写。
  3. 实验表明，该方法在BLEU、ROUGE-L等指标上显著优于监督模型和对比学习方法。

📝 摘要（中文）

对话式查询重写对于有效的对话式搜索至关重要，但传统的监督方法需要大量的标注数据，这在低资源环境中是稀缺的。本文提出了一种新颖的方法，即Prompt引导的上下文学习，它利用大型语言模型（LLM）的上下文学习能力来进行少样本对话式查询重写。我们的方法采用精心设计的Prompt，包括任务描述、输入/输出格式规范以及一小组说明性示例，以指导预训练的LLM生成与上下文无关的查询，而无需显式微调。在基准数据集TREC和Taskmaster-1上的大量实验表明，我们的方法在各种评估指标（如BLEU、ROUGE-L、成功率和MRR）上显著优于强大的基线，包括监督模型和对比协同训练方法。消融研究证实了上下文示例的重要性，人工评估进一步验证了我们生成的重写在流畅性、相关性和上下文利用方面的优越性。结果突出了Prompt引导的上下文学习作为一种高效且有效的低资源对话式查询重写范例的潜力，减少了对大量标注数据和复杂训练程序的依赖。

🔬 方法详解

问题定义：论文旨在解决低资源场景下的对话式查询重写问题。现有的监督学习方法需要大量的标注数据，而这些数据在许多实际应用中难以获取。因此，如何在缺乏大量标注数据的情况下，有效地进行对话式查询重写是一个重要的挑战。

核心思路：论文的核心思路是利用大型语言模型（LLM）的上下文学习能力。通过精心设计的Prompt，向LLM提供任务描述、输入输出格式以及少量示例，引导LLM理解并执行对话式查询重写任务，而无需进行显式的微调。这种方法能够充分利用LLM的先验知识和泛化能力，从而在低资源场景下取得良好的效果。

技术框架：整体框架包括以下几个主要步骤：1) 设计Prompt：Prompt包含任务描述、输入输出格式规范以及少量示例。2) 输入对话历史和当前查询：将对话历史和当前查询作为LLM的输入。3) LLM生成重写后的查询：LLM根据Prompt的指导，生成与上下文无关的重写查询。4) 评估生成结果：使用BLEU、ROUGE-L等指标评估生成结果的质量。

关键创新：最重要的技术创新点在于Prompt的设计。论文通过精心设计的Prompt，有效地引导LLM进行对话式查询重写，而无需进行显式的微调。这种方法充分利用了LLM的上下文学习能力，从而在低资源场景下取得了良好的效果。与现有方法相比，该方法不需要大量的标注数据，并且能够更好地利用LLM的先验知识和泛化能力。

关键设计：Prompt的设计是关键。Prompt包含任务描述、输入输出格式规范以及少量示例。示例的选择也很重要，需要选择具有代表性的示例，以帮助LLM更好地理解任务。论文中没有明确提及损失函数或网络结构，因为该方法主要依赖于LLM的上下文学习能力，而无需进行显式的微调。

📊 实验亮点

实验结果表明，Prompt引导的上下文学习方法在TREC和Taskmaster-1数据集上显著优于监督模型和对比协同训练方法。例如，在TREC数据集上，该方法在BLEU指标上取得了显著提升。人工评估也表明，该方法生成的重写查询在流畅性、相关性和上下文利用方面表现更佳。

🎯 应用场景

该研究成果可应用于智能客服、语音助手、搜索引擎等领域，提升用户在对话式交互中的搜索体验。尤其在小语种或特定领域的低资源场景下，该方法能够有效降低对标注数据的依赖，加速相关产品的开发和部署，具有重要的实际应用价值和商业前景。

📄 摘要（原文）

Conversational query rewriting is crucial for effective conversational search, yet traditional supervised methods require substantial labeled data, which is scarce in low-resource settings. This paper introduces Prompt-Guided In-Context Learning, a novel approach that leverages the in-context learning capabilities of Large Language Models (LLMs) for few-shot conversational query rewriting. Our method employs carefully designed prompts, incorporating task descriptions, input/output format specifications, and a small set of illustrative examples, to guide pre-trained LLMs to generate context-independent queries without explicit fine-tuning. Extensive experiments on benchmark datasets, TREC and Taskmaster-1, demonstrate that our approach significantly outperforms strong baselines, including supervised models and contrastive co-training methods, across various evaluation metrics such as BLEU, ROUGE-L, Success Rate, and MRR. Ablation studies confirm the importance of in-context examples, and human evaluations further validate the superior fluency, relevance, and context utilization of our generated rewrites. The results highlight the potential of prompt-guided in-context learning as an efficient and effective paradigm for low-resource conversational query rewriting, reducing the reliance on extensive labeled data and complex training procedures.