RALLRec: Improving Retrieval Augmented Large Language Model Recommendation with Representation Learning

📄 arXiv: 2502.06101v2 📥 PDF

作者: Jian Xu, Sichun Luo, Xiangyu Chen, Haoming Huang, Hanxu Hou, Linqi Song

分类: cs.IR, cs.CL

发布日期: 2025-02-10 (更新: 2025-02-11)

备注: Accepted by TheWebConf'25 (WWW'25) as a Short Paper

🔗 代码/项目: GITHUB

💡 一句话要点

RALLRec：融合表征学习的检索增强大语言模型推荐系统

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推荐系统 检索增强生成 大语言模型 表征学习 协同过滤 用户行为建模

📋 核心要点

  1. 现有RAG推荐方法主要依赖文本语义，忽略了协同信息，导致检索到的物品相关性不足，影响推荐效果。
  2. RALLRec通过融合文本和协同语义信息，并利用重排序方法捕捉用户兴趣的动态变化，从而提升推荐系统的性能。
  3. 在多个真实数据集上的实验表明，RALLRec能够有效提升推荐性能，验证了其在实际应用中的潜力。

📝 摘要（中文）

本文提出了一种基于表征学习的检索增强大语言模型推荐系统（RALLRec）。现有检索增强生成（RAG）方法主要依赖文本语义，未能有效整合最相关的物品，限制了系统性能。RALLRec通过提示大语言模型生成更详细的物品描述来增强文本语义，并进行文本和协同语义的联合表征学习，这些语义分别由大语言模型和推荐模型提取。考虑到用户兴趣随时间变化的特性，本文还引入了一种简单而有效的重排序方法来捕捉用户偏好的动态变化。在三个真实世界数据集上进行了大量实验，验证了该方法的有效性。

🔬 方法详解

问题定义：现有基于检索增强生成（RAG）的推荐系统主要依赖文本语义进行物品检索，忽略了用户行为数据中蕴含的协同信息。这种方法的痛点在于，无法准确捕捉用户兴趣，导致检索到的物品与用户需求的相关性不足，最终影响推荐效果。

核心思路：RALLRec的核心思路是将文本语义和协同语义进行融合，从而更全面地理解用户兴趣和物品特征。通过提示大语言模型生成更详细的物品描述来增强文本语义，并结合推荐模型提取的协同语义，实现更精准的物品检索和推荐。同时，考虑到用户兴趣随时间变化的特性，引入重排序机制动态调整推荐结果。

技术框架：RALLRec的整体框架包含以下几个主要模块：1) 物品描述增强模块：利用大语言模型生成更详细的物品描述，丰富文本语义信息。2) 联合表征学习模块：同时学习物品的文本表征和协同表征，并将二者融合。3) 物品检索模块：基于融合后的表征向量，检索与用户兴趣最相关的物品。4) 重排序模块：根据用户历史行为，对检索到的物品进行重排序，捕捉用户兴趣的动态变化。

关键创新：RALLRec的关键创新在于联合表征学习，它将大语言模型提取的文本语义和推荐模型提取的协同语义进行有效融合。与现有方法相比，RALLRec不仅考虑了物品的文本描述，还考虑了用户与物品之间的交互关系，从而更全面地理解用户兴趣和物品特征。此外，引入的重排序模块能够捕捉用户兴趣的动态变化，进一步提升推荐效果。

关键设计：在物品描述增强模块中，使用了特定的prompt来引导大语言模型生成更详细、更具信息量的物品描述。在联合表征学习模块中，采用了对比学习损失函数来优化文本表征和协同表征的对齐。重排序模块则采用了一种基于时间衰减的策略，对用户最近交互过的物品赋予更高的权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在三个真实世界数据集上的实验结果表明，RALLRec显著优于现有的RAG推荐方法。例如，在某个数据集上，RALLRec的Recall@20指标提升了超过10%。实验结果验证了RALLRec在融合文本和协同语义方面的有效性，以及重排序模块在捕捉用户兴趣动态变化方面的作用。

🎯 应用场景

RALLRec可应用于电商、在线视频、新闻推荐等多种场景，通过融合文本和协同信息，提升推荐系统的准确性和用户满意度。该研究有助于构建更智能、更个性化的推荐系统，为用户提供更好的信息发现体验，并为企业带来更高的收益。

📄 摘要（原文）

Large Language Models (LLMs) have been integrated into recommendation systems to enhance user behavior comprehension. The Retrieval Augmented Generation (RAG) technique is further incorporated into these systems to retrieve more relevant items and improve system performance. However, existing RAG methods rely primarily on textual semantics and often fail to incorporate the most relevant items, limiting the effectiveness of the systems. In this paper, we propose Representation learning for retrieval-Augmented Large Language model Recommendation (RALLRec). Specifically, we enhance textual semantics by prompting LLMs to generate more detailed item descriptions, followed by joint representation learning of textual and collaborative semantics, which are extracted by the LLM and recommendation models, respectively. Considering the potential time-varying characteristics of user interest, a simple yet effective reranking method is further introduced to capture the dynamics of user preference. We conducted extensive experiments on three real-world datasets, and the evaluation results validated the effectiveness of our method. Code is made public at https://github.com/JianXu95/RALLRec.