ZooWork-ShopRanker: An Open, Preference-Aligned E-Commerce Reranker

📄 arXiv: 2609.31002v1 📥 PDF

作者: Siqiao Xue, Shuxuan Liu, Ning Hu

分类: cs.CL

发布日期: 2026-09-25

备注: project page: \url{https://serendipityoneinc.github.io/look-bench-page/shoprank-bench.html}

💡 一句话要点

提出ZooWork-ShopRanker以解决电商重排中的用户偏好问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电商重排 用户偏好 大型语言模型 蒸馏训练 偏好标注

📋 核心要点

  1. 现有的开放重排器在电商场景中的应用效果不理想，主要因为它们无法有效捕捉用户的偏好信号。
  2. 论文提出ZooWork-ShopRanker，通过利用大型语言模型生成偏好标注，训练出一系列电商重排器，旨在提升重排效果。
  3. 实验结果显示，ZooWork-ShopRanker-8B和-4B显著超越了最强的开放重排器基线，且每个模型均优于其未对齐的基础模型。

📝 摘要（中文）

现有的开放重排器在电商领域的应用效果不佳，因为电商排名决策不仅依赖于主题相关性，还受到用户偏好、产品限制和比较适配的影响。ZooWork-ShopRanker是一系列电商重排器，利用大型语言模型作为偏好oracle进行训练，生成标注的训练对。通过引入ShopRank-Bench基准，评估了模型在真实用户偏好对上的表现。实验结果表明，ZooWork-ShopRanker在多个基准测试中显著超越了现有的开放重排器，展示了其在电商搜索中的有效性。

🔬 方法详解

问题定义：本论文旨在解决电商重排中用户偏好信号难以监督的问题。现有方法在处理真实搜索流量时，缺乏干净的成对标签，导致重排效果不佳。

核心思路：ZooWork-ShopRanker通过引入大型语言模型作为偏好oracle，生成标注的训练对，从而有效捕捉用户偏好并进行重排。该方法的设计旨在利用现有的语言模型能力，提升电商重排的准确性。

技术框架：ZooWork-ShopRanker包括多个模型（0.6B、4B和8B），其中8B模型作为旗舰模型，负责为其他模型提供蒸馏训练。训练数据由不同家族的大型语言模型生成，确保了标注的多样性和准确性。

关键创新：本研究的主要创新在于使用大型语言模型生成偏好标注，并通过位置去偏见的判断和一致性层级来提升标注质量。这种方法与传统的基于人工标注的方式有本质区别，能够在大规模上进行有效训练。

关键设计：模型训练过程中，采用了多层次的判断标准，并通过蒸馏训练优化了小模型的性能。损失函数设计考虑了标注的一致性和偏差，确保了模型在不同规模下的有效性。训练数据的生成和标注过程也经过精心设计，以保证数据的高质量。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，ZooWork-ShopRanker-8B和-4B模型在多个基准测试中显著超越了最强的开放重排器基线，且每个模型均优于其未对齐的基础模型。ZooWork-ShopRanker-0.6B在同类模型中表现突出，展示了不同规模模型之间的有效性和适用性。

🎯 应用场景

ZooWork-ShopRanker的研究成果可广泛应用于电商搜索引擎、推荐系统等领域，帮助提升用户体验和满意度。通过更准确的产品重排，电商平台能够更好地满足用户需求，增加转化率。此外，该研究为未来的电商搜索优化提供了新的思路和方法。

📄 摘要（原文）

Open rerankers trained for general web retrieval transfer imperfectly to e-commerce, where ranking decisions depend not only on topical relevance but also on user preferences, product constraints, and comparative product fit. These preference signals are difficult to supervise at scale: real search traffic provides authentic queries and candidates but no clean pairwise labels. We present ZooWork-ShopRanker, a family of e-commerce rerankers (0.6B, 4B, and 8B) aligned to judge-labeled shopping preference. Training pairs are labeled by a panel of reasoning large language models (LLMs) from different families acting as a preference oracle, with position-debiased judgments and agreement tiers, and the rerankers are trained on these labels. The aligned 8B flagship then serves as a distillation teacher for the efficient 4B and 0.6B models, which are fit to its scores and sharpened on judged pairs. To measure progress, we introduce ShopRank-Bench, a contamination-limited benchmark of ~10,000 private-traffic preference pairs in both text formats, tiered by how many judge families committed to each label. ZooWork-ShopRanker-8B and -4B significantly outperform the strongest open reranker baseline, every model significantly beats its own un-aligned base, and ZooWork-ShopRanker-0.6B beats its size peer; the gains hold in both formats and extend to common MTEB benchmarks. We release the models and the dual-format ShopRank-Bench to facilitate further research.