Generative Retrieval and Alignment Model: A New Paradigm for E-commerce Retrieval
作者: Ming Pang, Chunyuan Yuan, Xiaoyu He, Zheng Fang, Donghao Xie, Fanyi Qu, Xue Jiang, Changping Peng, Zhangang Lin, Ching Law, Jingping Shao
分类: cs.IR, cs.AI, cs.CL
发布日期: 2025-04-02 (更新: 2025-07-11)
备注: Accepted by WWW2025
💡 一句话要点
提出生成式检索对齐模型(GRAM)，解决电商检索中查询-商品语义鸿沟问题。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 电商检索 生成式检索 大型语言模型 语义对齐 联合训练
📋 核心要点
- 现有电商检索方法难以有效利用LLM中的世界知识，且查询与商品间语义鸿沟导致召回率低。
- GRAM通过联合训练查询和商品文本信息，生成共享文本标识符代码，弥合查询-商品语义鸿沟。
- 离线和在线A/B测试表明，GRAM显著优于传统模型和最新的生成式检索模型，提升了检索效率。
📝 摘要（中文）
传统的稀疏和稠密检索方法难以利用通用世界知识，并且常常无法捕捉查询和商品的细微特征。随着大型语言模型（LLM）的出现，工业搜索系统开始利用LLM生成商品检索的标识符。常用的标识符包括（1）静态/语义ID和（2）商品术语集。第一种方法需要从头开始创建商品ID系统，错失了LLM中蕴含的世界知识。第二种方法虽然利用了这种通用知识，但查询和商品之间单词分布的显著差异意味着基于商品的标识符通常与用户搜索查询对齐不好，导致商品召回率降低。此外，当查询包含大量属性时，这些算法会生成大量标识符，难以评估其质量，导致整体召回效率低下。为了解决这些挑战，本文提出了一种新的电商检索范式：生成式检索和对齐模型（GRAM）。GRAM采用查询和商品的文本信息的联合训练来生成共享的文本标识符代码，有效地弥合了查询和商品之间的差距。这种方法不仅增强了查询和商品之间的联系，还提高了推理效率。该模型使用协同对齐策略生成针对最大化检索效率优化的代码。此外，它还引入了一种查询-商品评分机制来比较不同代码中的商品价值，进一步提高了检索效率。大量的离线和在线A/B测试表明，GRAM显著优于传统模型和最新的生成式检索模型，证实了其有效性和实用性。
🔬 方法详解
问题定义：现有电商检索方法，如静态ID和商品术语集，无法有效利用LLM蕴含的通用知识，且查询和商品之间的语义鸿沟导致召回率低。当查询包含大量属性时，现有方法会生成大量低质量的标识符，进一步降低检索效率。
核心思路：GRAM的核心思路是通过联合训练查询和商品文本信息，生成共享的文本标识符代码。这种共享代码的设计旨在弥合查询和商品之间的语义鸿沟，使得模型能够更好地理解查询意图并召回相关的商品。
技术框架：GRAM的整体框架包含以下几个主要模块：1) 联合训练模块：同时输入查询和商品文本信息进行训练。2) 共享代码生成模块：生成用于检索的共享文本标识符代码。3) 协同对齐模块：优化代码生成过程，最大化检索效率。4) 查询-商品评分模块：比较不同代码下的商品价值，提升检索效率。
关键创新：GRAM的关键创新在于其生成共享文本标识符代码的方式，以及协同对齐策略。与传统的静态ID或商品术语集方法不同，GRAM生成的代码能够更好地捕捉查询和商品之间的语义关系，从而提高检索的准确性和效率。
关键设计：GRAM的关键设计包括：1) 联合训练策略，使得模型能够同时学习查询和商品的表示。2) 协同对齐损失函数，用于优化代码生成过程，确保生成的代码能够最大化检索效率。3) 查询-商品评分机制，用于比较不同代码下的商品价值，进一步提升检索效率。具体参数设置和网络结构在论文中未详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GRAM在离线和在线A/B测试中均显著优于传统模型和最新的生成式检索模型。具体性能数据未知，但结论表明GRAM在电商检索任务中具有显著的优势，能够有效提升检索效率和用户体验。
🎯 应用场景
GRAM可应用于各种电商平台的商品检索系统，提升用户搜索体验，提高商品召回率和点击率，从而增加销售额。该模型也可扩展到其他信息检索领域，如新闻推荐、知识库问答等，具有广泛的应用前景。
📄 摘要（原文）
Traditional sparse and dense retrieval methods struggle to leverage general world knowledge and often fail to capture the nuanced features of queries and products. With the advent of large language models (LLMs), industrial search systems have started to employ LLMs to generate identifiers for product retrieval. Commonly used identifiers include (1) static/semantic IDs and (2) product term sets. The first approach requires creating a product ID system from scratch, missing out on the world knowledge embedded within LLMs. While the second approach leverages this general knowledge, the significant difference in word distribution between queries and products means that product-based identifiers often do not align well with user search queries, leading to missed product recalls. Furthermore, when queries contain numerous attributes, these algorithms generate a large number of identifiers, making it difficult to assess their quality, which results in low overall recall efficiency. To address these challenges, this paper introduces a novel e-commerce retrieval paradigm: the Generative Retrieval and Alignment Model (GRAM). GRAM employs joint training on text information from both queries and products to generate shared text identifier codes, effectively bridging the gap between queries and products. This approach not only enhances the connection between queries and products but also improves inference efficiency. The model uses a co-alignment strategy to generate codes optimized for maximizing retrieval efficiency. Additionally, it introduces a query-product scoring mechanism to compare product values across different codes, further boosting retrieval efficiency. Extensive offline and online A/B testing demonstrates that GRAM significantly outperforms traditional models and the latest generative retrieval models, confirming its effectiveness and practicality.