Explainable LLM-driven Multi-dimensional Distillation for E-Commerce Relevance Learning
作者: Gang Zhao, Ximing Zhang, Chenji Lu, Hui Zhao, Tianshu Wu, Pengjie Wang, Jian Xu, Bo Zheng
分类: cs.IR, cs.AI, cs.CL
发布日期: 2024-11-20 (更新: 2025-02-08)
备注: Accepted by WWW 2025 oral
💡 一句话要点
提出可解释LLM驱动的多维蒸馏框架，提升电商搜索相关性学习效果
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 电商搜索 相关性学习 大型语言模型 知识蒸馏 思维链 可解释性 在线部署
📋 核心要点
- 现有基于LLM的相关性模型参数量大，计算成本高，难以直接部署到在线电商搜索系统中。
- 论文提出可解释的LLM驱动的多维蒸馏框架，通过思维链推理分解相关性学习过程，提升LLM的可解释性和性能。
- 实验结果表明，该框架显著提升了电商相关性学习性能和用户体验，验证了其有效性。
📝 摘要（中文）
有效的query-item相关性建模对于提升用户体验和保障电商搜索系统的用户满意度至关重要。最近，受益于大型语言模型（LLM）的广泛内在知识，与之前基于神经网络的专业相关性学习方法相比，LLM方法表现出强大的性能和长尾泛化能力。尽管前景广阔，但当前基于LLM的方法在实践中遇到以下不足：首先，大量的参数和计算需求使其难以在线部署。其次，将LLM模型蒸馏到在线模型是一个可行的方向，但LLM相关性建模是一个黑盒，其丰富的内在知识难以提取和应用到线上。为了提高LLM的可解释性，并通过LLM提升在线相关性模型的性能，我们提出了一种用于电商相关性学习的可解释LLM驱动的多维蒸馏框架，该框架包括两个核心组件：（1）用于相关性建模的可解释LLM（ELLM-rele），它将相关性学习分解为中间步骤，并将相关性学习建模为思维链（CoT）推理，从而增强LLM的可解释性和性能。（2）一种多维知识蒸馏（MKD）架构，该架构从相关性得分分布和CoT推理方面将ELLM-rele的知识转移到当前可部署的基于交互和基于表示的student模型。通过蒸馏概率和CoT推理知识，MKD提高了student模型的语义交互和长尾泛化能力。在淘宝搜索广告场景中进行的大量离线评估和在线实验表明，我们提出的框架显着提高了电子商务相关性学习性能和用户体验。
🔬 方法详解
问题定义：论文旨在解决电商搜索中query-item相关性建模的问题。现有基于LLM的方法虽然效果好，但模型过大，难以部署；直接蒸馏LLM又面临LLM黑盒问题，无法有效提取其内在知识。
核心思路：核心思路是将LLM的相关性建模过程分解为可解释的中间步骤，即通过思维链（Chain-of-Thought, CoT）推理，使LLM的决策过程更加透明。然后，利用多维知识蒸馏（MKD）将LLM的知识（包括相关性得分和CoT推理过程）迁移到更小的student模型，使其具备更好的性能和可解释性。
技术框架：整体框架包含两个主要模块：(1) 可解释的LLM（ELLM-rele）：用于相关性建模，采用CoT推理方式，输出相关性得分和推理过程。(2) 多维知识蒸馏（MKD）：将ELLM-rele的知识蒸馏到student模型，包括相关性得分分布的蒸馏和CoT推理过程的蒸馏。student模型可以是基于交互或基于表示的模型。
关键创新：最重要的创新点在于将LLM的黑盒相关性建模过程转化为可解释的CoT推理过程，并利用多维知识蒸馏将这种可解释的推理过程迁移到student模型。这使得student模型不仅获得了更好的性能，也具备了一定的可解释性。与传统蒸馏方法相比，MKD不仅蒸馏了相关性得分，还蒸馏了CoT推理过程，从而更全面地迁移了LLM的知识。
关键设计：ELLM-rele通过prompt工程引导LLM进行CoT推理，例如，可以设计prompt要求LLM逐步分析query和item的语义，并给出推理过程。MKD采用多种损失函数，包括KL散度损失（用于蒸馏相关性得分分布）和交叉熵损失（用于蒸馏CoT推理过程）。student模型的网络结构可以根据具体任务选择，例如，可以使用Transformer网络进行语义交互建模。
📊 实验亮点
论文在淘宝搜索广告场景进行了离线和在线实验。离线实验表明，提出的框架在多个指标上显著优于基线模型。在线实验也显示，该框架能够提升用户点击率和转化率，改善用户体验。具体提升幅度未知，但结论是“显著提升”。
🎯 应用场景
该研究成果可广泛应用于电商搜索、推荐系统等领域，提升query-item相关性建模的准确性和效率。通过知识蒸馏，可以将大型LLM的知识迁移到小型模型，降低在线部署的成本和延迟，提升用户体验。此外，可解释性增强有助于更好地理解模型行为，为模型优化和改进提供依据。
📄 摘要（原文）
Effective query-item relevance modeling is pivotal for enhancing user experience and safeguarding user satisfaction in e-commerce search systems. Recently, benefiting from the vast inherent knowledge, Large Language Model (LLM) approach demonstrates strong performance and long-tail generalization ability compared with previous neural-based specialized relevance learning methods. Though promising, current LLM-based methods encounter the following inadequacies in practice: First, the massive parameters and computational demands make it difficult to be deployed online. Second, distilling LLM models to online models is a feasible direction, but the LLM relevance modeling is a black box, and its rich intrinsic knowledge is difficult to extract and apply online. To improve the interpretability of LLM and boost the performance of online relevance models via LLM, we propose an Explainable LLM-driven Multi-dimensional Distillation framework for e-commerce relevance learning, which comprises two core components: (1) An Explainable LLM for relevance modeling (ELLM-rele), which decomposes the relevance learning into intermediate steps and models relevance learning as a Chain-of-Thought (CoT) reasoning, thereby enhancing both interpretability and performance of LLM. (2) A Multi-dimensional Knowledge Distillation (MKD) architecture that transfers the knowledge of ELLM-rele to current deployable interaction-based and representation-based student models from both the relevance score distribution and CoT reasoning aspects. Through distilling the probabilistic and CoT reasoning knowledge, MKD improves both the semantic interaction and long-tail generalization abilities of student models. Extensive offline evaluations and online experiments on Taobao search ad scene demonstrate that our proposed framework significantly enhances e-commerce relevance learning performance and user experience.