Towards Boosting LLMs-driven Relevance Modeling with Progressive Retrieved Behavior-augmented Prompting
作者: Zeyuan Chen, Haiyan Wu, Kaixin Wu, Wei Chen, Mingjie Zhong, Jia Xu, Zhongyi Liu, Wei Zhang
分类: cs.IR, cs.AI
发布日期: 2024-08-18 (更新: 2024-12-06)
备注: Accepted By COLING 2025
💡 一句话要点
提出ProRBP框架，利用检索行为增强提示，提升LLM驱动的相关性建模效果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 相关性建模 大型语言模型 用户行为 提示学习 搜索引擎
📋 核心要点
- 传统相关性模型仅依赖语义相似度，忽略了用户隐式搜索意图，导致LLM在相关性判断上存在局限性。
- ProRBP框架通过检索用户行为邻居，获取领域知识，并利用渐进式提示增强LLM的相关性建模能力。
- 在真实工业数据和在线A/B测试中，ProRBP展现出优异性能，验证了其在实际应用中的有效性。
📝 摘要（中文）
相关性建模是提升搜索引擎用户体验的关键组成部分，其主要目标是识别与用户查询相符的条目。传统模型仅依赖于查询和条目之间的语义一致性来确定相关性，但这仅仅是相关性判断的一个方面，并且单独使用是不够的。即使是强大的大型语言模型（LLM）也无法仅从语义角度准确判断查询和条目的相关性。为了增强LLM驱动的相关性建模，本研究建议利用搜索日志中记录的用户交互来深入了解用户的隐式搜索意图。挑战在于如何有效地提示LLM以捕获动态搜索意图，这在实际相关性场景中存在若干障碍，即缺乏领域特定知识、孤立提示的不足以及部署LLM相关的过高成本。为此，我们提出ProRBP，一种新颖的渐进式检索行为增强提示框架，用于有效地将面向搜索场景的知识与LLM集成。具体而言，我们从每日搜索日志中执行用户驱动的行为邻居检索，以获得及时的领域特定知识，检索用户认为符合其期望的候选对象。然后，我们通过采用先进的提示技术来指导LLM进行相关性建模，这些技术逐步改进LLM的输出，然后通过全面考虑各个方面进行渐进式聚合。对于在线服务，我们开发了一个为LLM在相关性建模中的部署量身定制的工业应用框架。在真实工业数据和在线A/B测试上的实验表明，我们的提议取得了可喜的性能。
🔬 方法详解
问题定义：论文旨在解决传统相关性模型和直接使用LLM进行相关性建模时，由于缺乏对用户隐式搜索意图的理解和领域特定知识，导致相关性判断不准确的问题。现有方法主要依赖查询和物品之间的语义相似性，忽略了用户行为数据中蕴含的丰富信息。此外，直接使用LLM成本高昂，且难以有效利用领域知识。
核心思路：论文的核心思路是通过挖掘用户历史搜索行为，构建用户行为邻居，从中提取领域特定知识，并利用这些知识增强LLM的提示，从而更准确地捕捉用户的搜索意图，提升相关性建模的效果。这种方法将用户行为数据作为LLM的外部知识来源，弥补了LLM自身知识的不足。
技术框架：ProRBP框架主要包含以下几个阶段：1) 用户行为邻居检索：从搜索日志中检索与当前用户查询相关的用户行为邻居，即与当前查询具有相似搜索行为的其他用户。2) 领域知识提取：从检索到的用户行为邻居中提取领域特定知识，例如用户点击、浏览、购买的物品等。3) 渐进式提示增强：利用提取的领域知识，设计一系列提示，逐步引导LLM进行相关性建模，例如先让LLM判断查询的意图，再让LLM判断物品与意图的相关性。4) 渐进式聚合：将LLM在不同提示下的输出进行聚合，综合考虑各个方面的信息，最终得到相关性评分。
关键创新：ProRBP的关键创新在于：1) 行为增强提示：利用用户行为数据作为LLM的外部知识来源，增强LLM的提示，使其能够更好地理解用户的搜索意图。2) 渐进式提示和聚合：通过一系列提示逐步引导LLM进行相关性建模，并将不同提示下的输出进行聚合，从而更全面地考虑各个方面的信息。这与传统的单次提示方法不同，能够更有效地利用LLM的能力。
关键设计：在用户行为邻居检索阶段，可以使用不同的相似度度量方法，例如基于查询的相似度、基于用户行为的相似度等。在提示设计阶段，需要精心设计提示的格式和内容，以引导LLM进行相关性建模。在渐进式聚合阶段，可以使用不同的聚合方法，例如加权平均、投票等。具体的参数设置、损失函数和网络结构等技术细节在论文中未详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
论文在真实工业数据集上进行了实验，结果表明ProRBP框架显著优于传统的相关性模型和直接使用LLM的方法。在线A/B测试也验证了ProRBP的有效性，具体性能数据和提升幅度在摘要中未明确给出，属于未知信息。
🎯 应用场景
ProRBP框架可应用于各种搜索引擎和推荐系统中，提升用户搜索和推荐结果的相关性，改善用户体验。该方法尤其适用于需要利用用户行为数据进行个性化推荐的场景，例如电商、新闻、视频等平台。通过更准确地理解用户意图，ProRBP可以帮助用户更快地找到所需信息，提高用户满意度和平台转化率。
📄 摘要（原文）
Relevance modeling is a critical component for enhancing user experience in search engines, with the primary objective of identifying items that align with users' queries. Traditional models only rely on the semantic congruence between queries and items to ascertain relevance. However, this approach represents merely one aspect of the relevance judgement, and is insufficient in isolation. Even powerful Large Language Models (LLMs) still cannot accurately judge the relevance of a query and an item from a semantic perspective. To augment LLMs-driven relevance modeling, this study proposes leveraging user interactions recorded in search logs to yield insights into users' implicit search intentions. The challenge lies in the effective prompting of LLMs to capture dynamic search intentions, which poses several obstacles in real-world relevance scenarios, i.e., the absence of domain-specific knowledge, the inadequacy of an isolated prompt, and the prohibitive costs associated with deploying LLMs. In response, we propose ProRBP, a novel Progressive Retrieved Behavior-augmented Prompting framework for integrating search scenario-oriented knowledge with LLMs effectively. Specifically, we perform the user-driven behavior neighbors retrieval from the daily search logs to obtain domain-specific knowledge in time, retrieving candidates that users consider to meet their expectations. Then, we guide LLMs for relevance modeling by employing advanced prompting techniques that progressively improve the outputs of the LLMs, followed by a progressive aggregation with comprehensive consideration of diverse aspects. For online serving, we have developed an industrial application framework tailored for the deployment of LLMs in relevance modeling. Experiments on real-world industry data and online A/B testing demonstrate our proposal achieves promising performance.