Pre-trained LLMs Meet Sequential Recommenders: Efficient User-Centric Knowledge Distillation

📄 arXiv: 2604.21536v1 📥 PDF

作者: Nikita Severin, Danil Kartushov, Vladislav Urzhumov, Vladislav Kulikov, Oksana Konovalova, Alexey Grishanov, Anton Klenitskiy, Artem Fatkulin, Alexey Vasilev, Andrey Savchenko, Ilya Makarov

分类: cs.IR, cs.AI

发布日期: 2026-04-23

备注: Accepted to ECIR 2026. 7 pages. This version of the contribution has been accepted for publication, after peer review but is not the Version of Record and does not reflect post-acceptance improvements, or any corrections. The Version of Record is available online at: http://dx.doi.org/10.1007/978-3-032-21300-6_42

DOI: 10.1007/978-3-032-21300-6_42

💡 一句话要点

提出一种高效的用户中心知识蒸馏方法，将预训练LLM知识融入序列推荐系统。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 序列推荐 知识蒸馏 大型语言模型 用户画像 推荐系统

📋 核心要点

  1. 序列推荐模型缺乏对用户深层语义的理解，限制了推荐效果。
  2. 利用LLM生成用户文本画像，通过知识蒸馏迁移到序列推荐模型。
  3. 该方法无需修改模型结构或微调LLM，保持了推理效率。

📝 摘要（中文）

序列推荐系统在建模用户时序行为方面取得了显著成功，但其在捕获超出交互模式之外的丰富用户语义方面仍然存在局限性。大型语言模型（LLM）凭借其推理能力，为增强用户理解提供了机会，但现有的集成方法在实时场景中会产生过高的推理成本。为了解决这些限制，我们提出了一种新颖的知识蒸馏方法，该方法利用预训练LLM生成的文本用户画像，将其融入到序列推荐器中，而无需在服务时进行LLM推理。由此产生的方法保持了传统序列模型的推理效率，并且不需要架构修改或LLM微调。

🔬 方法详解

问题定义：序列推荐系统虽然能有效捕捉用户行为的时序模式，但难以理解用户更深层次的偏好和意图。现有方法直接集成LLM进行推理，计算成本高昂，难以应用于实时推荐场景。

核心思路：利用预训练LLM的强大语义理解能力，为每个用户生成一段文本描述（用户画像），然后将这些文本信息作为知识，通过知识蒸馏的方式迁移到序列推荐模型中。这样，序列推荐模型就能在不直接调用LLM的情况下，获得对用户更丰富的理解。

技术框架：该方法主要包含两个阶段：1) 用户画像生成阶段：使用预训练LLM（具体模型未知）根据用户的历史交互行为生成文本描述。2) 知识蒸馏阶段：将生成的文本用户画像作为额外信息，训练序列推荐模型。序列推荐模型可以是任何现有的模型（例如，GRU4Rec, SASRec等）。

关键创新：该方法的核心创新在于利用知识蒸馏，将LLM的知识高效地迁移到序列推荐模型中，避免了在推理阶段直接使用LLM，从而保证了推荐系统的实时性。与直接集成LLM的方法相比，该方法显著降低了推理成本。

关键设计：论文中没有详细说明LLM的具体选择和用户画像生成的prompt设计，这些可能是影响最终效果的关键因素。知识蒸馏的具体方法（例如，损失函数的设计）也未详细描述，需要进一步研究论文细节。序列推荐模型的选择和训练方式也需要根据具体应用场景进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出了一种高效的知识蒸馏方法，将预训练LLM的知识融入序列推荐模型，无需在推理时调用LLM。实验结果（具体数据未知）表明，该方法在保持推理效率的同时，显著提升了推荐性能。具体的性能提升幅度和对比基线需要在论文中查找。

🎯 应用场景

该研究成果可应用于各种在线推荐系统，例如电商、视频平台、新闻推荐等。通过提升对用户偏好的理解，可以显著改善推荐的准确性和个性化程度，从而提高用户满意度和平台收益。该方法尤其适用于对实时性要求较高的推荐场景。

📄 摘要（原文）

Sequential recommender systems have achieved significant success in modeling temporal user behavior but remain limited in capturing rich user semantics beyond interaction patterns. Large Language Models (LLMs) present opportunities to enhance user understanding with their reasoning capabilities, yet existing integration approaches create prohibitive inference costs in real time. To address these limitations, we present a novel knowledge distillation method that utilizes textual user profile generated by pre-trained LLMs into sequential recommenders without requiring LLM inference at serving time. The resulting approach maintains the inference efficiency of traditional sequential models while requiring neither architectural modifications nor LLM fine-tuning.