STAR: A Simple Training-free Approach for Recommendations using Large Language Models

📄 arXiv: 2410.16458v2 📥 PDF

作者: Dong-Ho Lee, Adam Kraft, Long Jin, Nikhil Mehta, Taibai Xu, Lichan Hong, Ed H. Chi, Xinyang Yi

分类: cs.IR, cs.AI, cs.LG

发布日期: 2024-10-21 (更新: 2025-02-19)

💡 一句话要点

提出STAR：一种基于大语言模型的免训练推荐方法，无需微调即可实现高质量推荐。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推荐系统 免训练学习 语义嵌入 协同过滤 成对排序 检索排序

📋 核心要点

  1. 现有推荐方法依赖于微调大型语言模型，成本高昂且工程复杂，而直接使用未经微调的LLM会导致推荐质量大幅下降，无法捕捉协同信息。
  2. STAR框架利用LLM的语义嵌入和协同信息进行检索，并使用LLM进行成对排序，无需微调即可实现高质量的推荐性能。
  3. 实验结果表明，STAR在Amazon Review数据集上取得了与监督模型相当甚至更好的性能，尤其在Beauty和Toys & Games类别上提升显著。

📝 摘要（中文）

本文提出了一种用于推荐的简单免训练方法（STAR），该框架利用大型语言模型（LLM），无需微调即可应用于各种推荐任务，同时保持高质量的推荐性能。该方法包括一个检索阶段，该阶段使用来自LLM的语义嵌入与协同用户信息相结合来检索候选项目。然后，我们应用LLM进行成对排序，以增强下一个项目的预测。在Amazon Review数据集上的实验结果表明，即使仅使用我们的检索阶段，下一个项目预测也具有竞争性的性能。与最佳监督模型相比，我们的完整方法在Beauty上的Hits@10性能提高了+23.8%，在Toys & Games上提高了+37.5%，在Sports & Outdoors上降低了-1.8%。该框架为传统的监督模型提供了一种有效的替代方案，突出了LLM在推荐系统中的潜力，而无需进行广泛的训练或定制架构。

🔬 方法详解

问题定义：论文旨在解决现有基于大型语言模型的推荐系统需要大量微调的问题。微调LLM不仅计算成本高昂，而且增加了工程实现的复杂性。直接使用未经微调的LLM进行推荐，又难以捕捉用户和物品之间的协同信息，导致推荐质量下降。

核心思路：论文的核心思路是利用LLM的语义理解能力，结合用户行为的协同信息，设计一个无需微调的推荐框架。通过检索阶段筛选候选物品，再利用LLM进行排序，从而在不进行模型训练的情况下，实现高质量的推荐。

技术框架：STAR框架包含两个主要阶段：检索阶段和排序阶段。在检索阶段，首先利用LLM生成物品的语义嵌入，然后结合用户的协同信息（例如用户历史交互物品），检索出候选物品集合。在排序阶段，将候选物品与用户历史交互物品进行两两配对，利用LLM对这些配对进行排序，选择排名最高的物品作为推荐结果。

关键创新：STAR的关键创新在于其免训练的特性。它避免了对LLM进行微调，降低了计算成本和工程复杂度，同时通过结合语义信息和协同信息，保证了推荐质量。这种方法使得LLM能够更灵活地应用于各种推荐场景，而无需针对特定数据集进行训练。

关键设计：在检索阶段，论文使用了LLM生成的物品语义嵌入，并结合用户历史交互物品的嵌入进行相似度计算，从而检索候选物品。在排序阶段，论文采用了pairwise ranking的方法，将候选物品与用户历史交互物品进行两两配对，并利用LLM对这些配对进行排序。具体的LLM选择和prompt设计未知，论文中可能未详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，STAR在Amazon Review数据集上取得了显著的性能提升。与最佳监督模型相比，在Beauty类别上Hits@10指标提升了23.8%，在Toys & Games类别上提升了37.5%。即使仅使用检索阶段，STAR也表现出具有竞争力的性能，验证了该方法在免训练条件下的有效性。

🎯 应用场景

该研究成果可广泛应用于电商、内容推荐、社交媒体等领域。免训练的特性使得该方法能够快速部署到新的推荐场景中，降低了模型训练和维护的成本。未来，该方法可以进一步扩展到冷启动推荐、跨域推荐等更复杂的推荐任务中，具有重要的实际应用价值。

📄 摘要（原文）

Recent progress in large language models (LLMs) offers promising new approaches for recommendation system tasks. While the current state-of-the-art methods rely on fine-tuning LLMs to achieve optimal results, this process is costly and introduces significant engineering complexities. Conversely, methods that directly use LLMs without additional fine-tuning result in a large drop in recommendation quality, often due to the inability to capture collaborative information. In this paper, we propose a Simple Training-free Approach for Recommendation (STAR), a framework that utilizes LLMs and can be applied to various recommendation tasks without the need for fine-tuning, while maintaining high quality recommendation performance. Our approach involves a retrieval stage that uses semantic embeddings from LLMs combined with collaborative user information to retrieve candidate items. We then apply an LLM for pairwise ranking to enhance next-item prediction. Experimental results on the Amazon Review dataset show competitive performance for next item prediction, even with our retrieval stage alone. Our full method achieves Hits@10 performance of +23.8% on Beauty, +37.5% on Toys & Games, and -1.8% on Sports & Outdoors relative to the best supervised models. This framework offers an effective alternative to traditional supervised models, highlighting the potential of LLMs in recommendation systems without extensive training or custom architectures.