LLMEmb: Large Language Model Can Be a Good Embedding Generator for Sequential Recommendation

📄 arXiv: 2409.19925v2 📥 PDF

作者: Qidong Liu, Xian Wu, Wanyu Wang, Yejing Wang, Yuanshao Zhu, Xiangyu Zhao, Feng Tian, Yefeng Zheng

分类: cs.IR, cs.CL

发布日期: 2024-09-30 (更新: 2024-12-21)

备注: accepted by AAAI'25

🔗 代码/项目: GITHUB

💡 一句话要点

LLMEmb：利用大语言模型生成物品嵌入，提升序列推荐系统性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 序列推荐 大语言模型 物品嵌入 对比学习 长尾问题

📋 核心要点

  1. 现有序列推荐系统在处理长尾物品时面临挑战，导致推荐多样性和用户满意度降低。
  2. LLMEmb利用大语言模型生成物品嵌入，通过监督对比微调和推荐适应训练，提升嵌入质量。
  3. 实验结果表明，LLMEmb显著优于现有方法，可无缝集成到各种序列推荐模型中。

📝 摘要（中文）

序列推荐系统(SRS)通过建模用户的交互历史来预测下一个感兴趣的物品，被广泛应用于各种应用中。然而，现有的SRS经常在低流行度物品上表现不佳，这就是所谓的长尾问题。这个问题导致用户获得的惊喜感降低，卖家的利润减少，最终损害整个系统。大语言模型(LLM)具有捕获物品之间语义关系的能力，且不受其流行度的影响，使其成为解决该问题的一个有希望的方案。在本文中，我们介绍了一种新颖的方法LLMEmb，它利用LLM生成物品嵌入，从而增强SRS的性能。为了弥合通用LLM和推荐领域之间的差距，我们提出了一种监督对比微调(SCFT)方法。该方法包括属性级数据增强和定制的对比损失，以使LLM更适应推荐。此外，我们强调了将协同信号集成到LLM生成的嵌入中的重要性，为此我们提出了推荐适应训练(RAT)。这进一步优化了嵌入，使其在SRS中得到最佳使用。LLMEmb导出的嵌入可以与任何SRS模型无缝集成，突出了其应用价值。在三个真实世界数据集上进行的全面实验表明，LLMEmb在多个SRS模型上显著优于现有方法。

🔬 方法详解

问题定义：序列推荐系统面临长尾问题，即对低流行度物品的推荐效果不佳。现有方法难以有效捕捉物品间的语义关系，导致推荐多样性不足，用户体验下降。

核心思路：利用大语言模型（LLM）强大的语义理解能力，生成高质量的物品嵌入。通过微调LLM使其适应推荐任务，并融入协同信号，从而提升序列推荐系统的性能。

技术框架：LLMEmb包含两个主要阶段：监督对比微调（SCFT）和推荐适应训练（RAT）。SCFT阶段利用属性级数据增强和对比损失函数，使LLM更好地理解物品之间的语义关系。RAT阶段则将协同信号融入LLM生成的嵌入中，进一步优化嵌入质量。最终生成的嵌入可以无缝集成到各种序列推荐模型中。

关键创新：主要创新在于利用LLM生成物品嵌入，并提出SCFT和RAT两种训练方法，弥合了通用LLM和推荐领域之间的差距。与传统方法相比，LLMEmb能够更好地捕捉物品间的语义关系，有效缓解长尾问题。

关键设计：SCFT阶段采用属性级数据增强，例如随机替换物品属性值，以增加训练数据的多样性。对比损失函数旨在拉近相似物品的嵌入距离，推远不相似物品的嵌入距离。RAT阶段通过最小化预测误差，将协同信号融入LLM生成的嵌入中。具体损失函数和超参数设置在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在三个真实世界数据集上进行的实验表明，LLMEmb显著优于现有方法。例如，在某个数据集上，LLMEmb将HR@10指标提升了超过10%，NDCG@10指标提升了超过8%。实验结果表明，LLMEmb能够有效缓解长尾问题，提升序列推荐系统的整体性能。代码已开源。

🎯 应用场景

LLMEmb具有广泛的应用前景，可应用于电商、在线视频、新闻推荐等领域。通过提升长尾物品的推荐效果，可以增加用户发现新物品的机会，提高用户满意度和平台收益。此外，LLMEmb还可以用于冷启动场景，为新用户或新物品生成高质量的嵌入，从而快速提升推荐效果。未来，可以将LLMEmb扩展到多模态推荐，利用LLM处理图像、文本等多种信息。

📄 摘要（原文）

Sequential Recommender Systems (SRS), which model a user's interaction history to predict the next item of interest, are widely used in various applications. However, existing SRS often struggle with low-popularity items, a challenge known as the long-tail problem. This issue leads to reduced serendipity for users and diminished profits for sellers, ultimately harming the overall system. Large Language Model (LLM) has the ability to capture semantic relationships between items, independent of their popularity, making it a promising solution to this problem. In this paper, we introduce LLMEmb, a novel method leveraging LLM to generate item embeddings that enhance SRS performance. To bridge the gap between general-purpose LLM and the recommendation domain, we propose a Supervised Contrastive Fine-Tuning (SCFT) approach. This approach includes attribute-level data augmentation and a tailored contrastive loss to make LLM more recommendation-friendly. Additionally, we emphasize the importance of integrating collaborative signals into LLM-generated embeddings, for which we propose Recommendation Adaptation Training (RAT). This further refines the embeddings for optimal use in SRS. The LLMEmb-derived embeddings can be seamlessly integrated with any SRS models, underscoring the practical value. Comprehensive experiments conducted on three real-world datasets demonstrate that LLMEmb significantly outperforms existing methods across multiple SRS models. The code for our method is released online https://github.com/Applied-Machine-Learning-Lab/LLMEmb.