Pailitao-MMSearch: Building Native E-Commerce Multimodal Search Foundation

📄 arXiv: 2607.17499v1 📥 PDF

作者: Xiaohan Ye, Xu Chen, Zihan Gong, Jian Ding, Lianyu Du, Baicheng Chen, Yunmeng Shu, Jingqian Zhao, Zhixiang Zhao, Shuaiqi Jia, Chong Ma, Shuwen Xiao, Xiangheng Kong, Yuan Gao, Jun Song, Jinsong Lan, Xiaoyong Zhu, Bo Zheng

分类: cs.AI

发布日期: 2026-07-20

备注: Technical Report: Pailitao-MMSearch

💡 一句话要点

提出Pailitao-MMSearch以解决电商多模态搜索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态搜索 电商 混合语义ID 持续预训练 用户行为建模 产品理解 推理优化

📋 核心要点

  1. 现有电商搜索方法主要依赖单模态模型，无法有效处理跨模态查询，导致用户体验不足。
  2. 本文提出Pailitao-MMSearch，通过混合语义ID和两阶段预训练策略，提升多模态搜索的准确性和效率。
  3. 实验结果显示，Pailitao-MMSearch在GMV和交易量上分别提升了13.61%和8.21%，验证了其有效性。

📝 摘要（中文）

随着电子商务的发展，用户的产品搜索方式已从简单的文本关键词查询转变为复杂的多模态交互，结合了产品图像、自然语言描述和混合意图指令。然而，现有方法面临单模态模型独立运作的困境，无法处理跨模态查询，而通用的视觉-语言模型又缺乏领域特定知识。为此，本文提出了Pailitao-MMSearch，一个原生电商多模态搜索基础模型，旨在弥补这一空白。该方法引入了三项关键创新：混合语义ID（HybSID）、两阶段持续预训练策略和混合推理后训练管道。基于Qwen构建并部署在淘宝的Pailitao多模态搜索平台上，Pailitao-MMSearch在在线A/B测试中取得了显著提升，包括GMV提升13.61%和交易量提升8.21%。

🔬 方法详解

问题定义：本文旨在解决电商领域中多模态搜索的不足，现有方法多依赖单模态模型，无法有效处理用户的跨模态查询需求，导致搜索结果的准确性和用户体验下降。

核心思路：Pailitao-MMSearch通过引入混合语义ID（HybSID）和两阶段持续预训练策略，结合领域特定知识，旨在提升多模态搜索的理解和推理能力，从而更好地满足用户的搜索需求。

技术框架：该模型的整体架构包括三个主要模块：混合语义ID模块用于处理多模态输入，两阶段预训练模块用于提升模型的学习能力，以及混合推理后训练管道用于优化模型的推理过程。

关键创新：Pailitao-MMSearch的关键创新在于其混合语义ID的设计和两阶段预训练策略，这使得模型能够在电商特定场景下进行更精细的产品理解和用户行为建模，显著区别于传统的单模态或通用模型。

关键设计：在模型设计中，采用了特定的损失函数以优化多模态输入的协同学习，并通过调整网络结构以适应电商领域的特定需求，确保模型在处理复杂查询时的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Pailitao-MMSearch在在线A/B测试中表现优异，GMV提升达13.61%，交易量提升8.21%，相比传统多模态搜索管道显示出显著的性能提升，验证了其在电商领域的有效性。

🎯 应用场景

Pailitao-MMSearch的潜在应用场景广泛，主要集中在电子商务平台的产品搜索和推荐系统中。其创新的多模态搜索能力能够显著提升用户体验，帮助用户更快速、准确地找到所需产品。此外，该技术可扩展至其他领域，如在线教育、社交媒体等，具有重要的实际价值和未来影响。

📄 摘要（原文）

The evolution of e-commerce has fundamentally transformed how users search for products, shifting from simple text-based keyword queries to complex multimodal interactions that seamlessly combine product images, natural language descriptions, and mixed-intent instructions. However, existing approaches face a critical dilemma: single-modal specialist models, deployed independently for text retrieval, visual search, and voice recognition, operate in isolation and cannot handle cross-modal queries, while general-purpose vision-language models lack the domain-specific knowledge necessary for fine-grained product understanding, user behavior modeling, and commercial intent reasoning. In this work, we present Pailitao-MMSearch, one native e-commerce multimodal search foundation model designed to bridge this gap. Our approach introduces three key innovations: (1)HybSID (Hybrid Semantic ID);(2)a two-stage continual pre-training strategy; and (3)a hybrid reasoning post-training pipeline. Built upon Qwen and deployed on Taobao's Pailitao multimodal search platform, Pailitao-MMSearch achieves substantial improvements in online A/B testing, including up to +13.61\% in Gross Merchandise Volume (GMV) and +8.21\% in transaction volume compared to traditional multi-modal search pipeline, demonstrating the effectiveness of our native e-commerce multimodal search large language models.