Improving Retrieval in Sponsored Search by Leveraging Query Context Signals
作者: Akash Kumar Mohankumar, Gururaj K, Gagan Madan, Amit Singh
分类: cs.IR, cs.CL
发布日期: 2024-07-19 (更新: 2024-10-18)
备注: Accepted to EMNLP 2024 Industry Track. 10 pages, 10 tables, 1 figure
💡 一句话要点
利用查询上下文信号，改进赞助搜索中的检索效果
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 赞助搜索 查询理解 上下文感知 密集检索 生成式检索
📋 核心要点
- 短文本查询在赞助搜索中难以准确理解用户意图，现有模型无法有效利用上下文信息。
- 通过融合网络搜索结果和LLM生成的查询重写等上下文信号，增强查询理解能力。
- 提出的方法在离线和在线实验中均表现出显著的性能提升，包括用户参与度和收入。
📝 摘要（中文）
在赞助搜索中，为用户查询准确检索相关的竞价关键词至关重要，但对于简短、模糊的查询来说仍然具有挑战性。现有的密集检索和生成式检索模型通常无法捕捉到这些情况下的细微用户意图。为了解决这个问题，我们提出了一种通过增强查询上下文信号来提高查询理解的方法，这些信号来源于网络搜索结果和大型语言模型，并存储在一个在线缓存中。具体来说，我们使用网络搜索的标题和摘要将查询置于真实世界的信息中，并利用GPT-4生成查询重写和解释，以明确用户意图。这些信号通过基于Fusion-in-Decoder的Unity架构高效集成，从而实现密集检索和生成式检索，且服务成本与传统的无上下文模型相当。为了解决缓存中上下文不可用的情况，我们引入了上下文浏览（context glancing），这是一种课程学习策略，即使在推理过程中没有上下文信号，也能提高模型的鲁棒性和性能。广泛的离线实验表明，我们的上下文感知方法显著优于无上下文模型。此外，在160多个国家/地区的知名搜索引擎上进行的在线A/B测试表明，用户参与度和收入均有显著提高。
🔬 方法详解
问题定义：论文旨在解决赞助搜索中，对于短文本、模糊查询，现有检索模型难以准确理解用户意图，导致检索效果不佳的问题。现有方法主要依赖于查询本身，忽略了丰富的上下文信息，无法有效区分歧义，从而影响广告的点击率和转化率。
核心思路：论文的核心思路是利用查询的上下文信息来增强查询的表示，从而提高检索的准确性。具体来说，通过从网络搜索结果和大型语言模型中提取相关信息，并将这些信息融入到查询中，使得模型能够更好地理解用户的真实意图。
技术框架：论文提出了一个基于Fusion-in-Decoder的Unity架构。该架构包含以下几个主要模块：1) 上下文信号提取模块：从网络搜索结果（标题和摘要）和GPT-4等大型语言模型中提取上下文信息，例如查询重写和解释。2) 上下文信号融合模块：使用Fusion-in-Decoder将提取的上下文信号与原始查询进行融合，生成增强的查询表示。3) 检索模块：使用增强的查询表示进行密集检索和生成式检索。4) 上下文浏览模块：使用课程学习策略，使模型在没有上下文信息的情况下也能保持较好的性能。
关键创新：论文的关键创新在于：1) 提出了利用网络搜索结果和大型语言模型来增强查询上下文的方法。2) 设计了基于Fusion-in-Decoder的Unity架构，能够高效地融合多种上下文信号。3) 引入了上下文浏览（context glancing）策略，提高了模型的鲁棒性。
关键设计：在上下文信号提取方面，使用了GPT-4生成查询重写和解释，以捕捉更深层次的用户意图。在Fusion-in-Decoder架构中，使用了交叉注意力机制来融合上下文信号和原始查询。在上下文浏览策略中，使用了课程学习，逐步降低上下文信号的可用性，从而训练模型在没有上下文的情况下也能表现良好。损失函数方面，使用了标准的检索损失函数，例如InfoNCE。
🖼️ 关键图片
📊 实验亮点
离线实验表明，该上下文感知方法显著优于无上下文模型。在线A/B测试在160多个国家/地区的知名搜索引擎上进行，结果显示用户参与度和收入均有显著提高。具体提升幅度未知，但摘要中明确指出是“significant improvements”。
🎯 应用场景
该研究成果可广泛应用于各种搜索和推荐系统，尤其是在需要处理短文本、模糊查询的场景下，例如电商搜索、移动搜索、广告检索等。通过提升检索的准确性，可以提高用户满意度、增加平台收入，并改善用户体验。未来，该方法可以进一步扩展到其他模态的数据，例如图像和视频，以实现更全面的上下文感知。
📄 摘要（原文）
Accurately retrieving relevant bid keywords for user queries is critical in Sponsored Search but remains challenging, particularly for short, ambiguous queries. Existing dense and generative retrieval models often fail to capture nuanced user intent in these cases. To address this, we propose an approach to enhance query understanding by augmenting queries with rich contextual signals derived from web search results and large language models, stored in an online cache. Specifically, we use web search titles and snippets to ground queries in real-world information and utilize GPT-4 to generate query rewrites and explanations that clarify user intent. These signals are efficiently integrated through a Fusion-in-Decoder based Unity architecture, enabling both dense and generative retrieval with serving costs on par with traditional context-free models. To address scenarios where context is unavailable in the cache, we introduce context glancing, a curriculum learning strategy that improves model robustness and performance even without contextual signals during inference. Extensive offline experiments demonstrate that our context-aware approach substantially outperforms context-free models. Furthermore, online A/B testing on a prominent search engine across 160+ countries shows significant improvements in user engagement and revenue.