Bridge the Domains: Large Language Models Enhanced Cross-domain Sequential Recommendation

📄 arXiv: 2504.18383v1 📥 PDF

作者: Qidong Liu, Xiangyu Zhao, Yejing Wang, Zijian Zhang, Howard Zhong, Chong Chen, Xiang Li, Wei Huang, Feng Tian

分类: cs.IR, cs.AI

发布日期: 2025-04-25

备注: accepted by SIGIR'25

💡 一句话要点

提出LLM4CDSR模型，利用大语言模型增强跨域序列推荐性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨域推荐 序列推荐 大语言模型 对比学习 用户画像

📋 核心要点

  1. 现有跨域序列推荐方法依赖于在所有领域都有交互的用户，限制了模型的实用性。
  2. LLM4CDSR利用大语言模型的语义理解能力，桥接不同领域的项目，捕获用户跨域偏好。
  3. 实验结果表明，LLM4CDSR在三个公共跨域数据集上表现出色，验证了其有效性。

📝 摘要（中文）

跨域序列推荐(CDSR)旨在从用户在不同领域的历史交互中提取偏好。尽管CDSR取得了一些进展，但两个问题阻碍了进一步发展，即重叠困境和转移复杂性。前者意味着现有的CDSR方法严重依赖于在所有领域都有交互的用户来学习跨域项目关系，从而降低了实用性。后者指的是从混合行为序列中学习复杂转移模式的困难。凭借强大的表示和推理能力，大型语言模型(LLM)有望通过桥接项目和从语义角度捕获用户偏好来解决这两个问题。因此，我们提出了一种基于LLM增强的跨域序列推荐模型(LLM4CDSR)。为了获得语义项目关系，我们首先提出了一个基于LLM的统一表示模块来表示项目。然后，设计了一个带有对比正则化的可训练适配器来适应CDSR任务。此外，设计了一个分层LLM剖析模块来总结用户跨域偏好。最后，将这两个模块集成到所提出的三线程框架中以得出推荐。我们在三个公共跨域数据集上进行了大量实验，验证了LLM4CDSR的有效性。我们已在线发布了代码。

🔬 方法详解

问题定义：跨域序列推荐旨在利用用户在多个领域的历史交互行为，预测用户在目标领域的下一个交互项目。现有方法面临“重叠困境”，即依赖于在所有领域都有交互的用户，导致模型泛化能力不足；以及“转移复杂性”，即难以学习混合行为序列中的复杂转移模式。

核心思路：利用大语言模型（LLM）强大的语义表示和推理能力，将不同领域的项目映射到统一的语义空间，从而缓解重叠困境。同时，利用LLM捕获用户在不同领域的偏好，并学习跨域的转移模式，解决转移复杂性问题。

技术框架：LLM4CDSR包含三个主要模块：1) 基于LLM的统一表示模块，用于将不同领域的项目表示为语义向量；2) 可训练适配器，用于将LLM的表示适应于CDSR任务，并使用对比正则化进行优化；3) 分层LLM剖析模块，用于总结用户在不同领域的偏好，并生成用户画像。这三个模块集成到一个三线程框架中，最终生成推荐结果。

关键创新：核心创新在于利用LLM的语义理解能力来桥接不同领域的项目，从而缓解了传统方法对用户重叠的依赖。此外，分层LLM剖析模块能够更有效地捕获用户在不同领域的偏好，并学习跨域的转移模式。

关键设计：统一表示模块使用预训练的LLM（具体型号未知）对项目进行编码，得到语义向量表示。可训练适配器采用Transformer结构，通过对比学习损失函数进行优化，鼓励相似项目的表示更加接近。分层LLM剖析模块首先使用LLM对用户在每个领域的行为进行总结，然后将这些总结信息输入到另一个LLM中，生成最终的用户画像。

📊 实验亮点

实验结果表明，LLM4CDSR在三个公共跨域数据集上均取得了显著的性能提升。具体提升幅度未知，但论文强调了该模型在缓解重叠困境和学习复杂转移模式方面的有效性。实验验证了利用LLM增强跨域序列推荐的可行性和优越性。

🎯 应用场景

该研究成果可应用于电商、内容推荐等多个领域，提升跨域推荐系统的性能和用户体验。例如，可以利用用户在购物和阅读领域的历史行为，更准确地推荐用户感兴趣的商品或文章。该方法有望解决冷启动问题，并提升推荐系统的多样性和个性化程度。

📄 摘要（原文）

Cross-domain Sequential Recommendation (CDSR) aims to extract the preference from the user's historical interactions across various domains. Despite some progress in CDSR, two problems set the barrier for further advancements, i.e., overlap dilemma and transition complexity. The former means existing CDSR methods severely rely on users who own interactions on all domains to learn cross-domain item relationships, compromising the practicability. The latter refers to the difficulties in learning the complex transition patterns from the mixed behavior sequences. With powerful representation and reasoning abilities, Large Language Models (LLMs) are promising to address these two problems by bridging the items and capturing the user's preferences from a semantic view. Therefore, we propose an LLMs Enhanced Cross-domain Sequential Recommendation model (LLM4CDSR). To obtain the semantic item relationships, we first propose an LLM-based unified representation module to represent items. Then, a trainable adapter with contrastive regularization is designed to adapt the CDSR task. Besides, a hierarchical LLMs profiling module is designed to summarize user cross-domain preferences. Finally, these two modules are integrated into the proposed tri-thread framework to derive recommendations. We have conducted extensive experiments on three public cross-domain datasets, validating the effectiveness of LLM4CDSR. We have released the code online.