RecGPT: Generative Pre-training for Text-based Recommendation

📄 arXiv: 2405.12715v1 📥 PDF

作者: Hoang Ngo, Dat Quoc Nguyen

分类: cs.IR, cs.CL

发布日期: 2024-05-21

备注: Accepted to the ACL 2024 main conference

🔗 代码/项目: GITHUB

💡 一句话要点

提出RecGPT-7B，首个面向文本推荐领域微调的大语言模型，显著提升推荐性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本推荐 大语言模型 预训练 领域自适应 序列推荐

📋 核心要点

  1. 现有文本推荐方法难以充分利用大规模文本数据中的知识，限制了推荐性能的提升。
  2. RecGPT通过领域自适应预训练，使模型更好地理解推荐领域的文本信息，从而提升推荐效果。
  3. 实验表明，RecGPT-7B-Instruct在评分预测和序列推荐任务上超越了现有基线模型，证明了其有效性。

📝 摘要（中文）

本文提出了首个领域自适应且完全训练的大语言模型RecGPT-7B及其指令跟随变体RecGPT-7B-Instruct，专门用于基于文本的推荐任务。在评分预测和序列推荐任务上的实验结果表明，我们的模型RecGPT-7B-Instruct优于以往的强大基线模型。我们发布了RecGPT模型及其预训练和微调数据集，以促进未来在基于文本的推荐领域的研究和下游应用。RecGPT模型和数据集的公共“huggingface”链接可在https://github.com/VinAIResearch/RecGPT 找到。

🔬 方法详解

问题定义：论文旨在解决基于文本的推荐问题，即如何利用文本信息来提升推荐系统的性能。现有方法通常难以有效利用大规模文本数据中蕴含的知识，导致推荐效果不佳。此外，通用大语言模型在推荐领域的表现也可能受到领域知识不足的限制。

核心思路：论文的核心思路是利用领域自适应的预训练方法，使大语言模型更好地理解推荐领域的文本信息。通过在特定于推荐任务的数据集上进行预训练，模型可以学习到与推荐相关的知识和模式，从而提升推荐性能。

技术框架：RecGPT的技术框架主要包括两个阶段：预训练阶段和微调阶段。在预训练阶段，模型在大规模的推荐领域文本数据集上进行训练，学习语言模型和领域知识。在微调阶段，模型在特定的推荐任务数据集上进行微调，以适应具体的推荐场景。论文提出了RecGPT-7B和RecGPT-7B-Instruct两个版本，后者是指令跟随版本，更易于使用和部署。

关键创新：论文的关键创新在于提出了首个面向文本推荐领域微调的大语言模型RecGPT。与通用大语言模型相比，RecGPT通过领域自适应预训练，更好地理解推荐领域的文本信息，从而提升推荐性能。此外，论文还发布了RecGPT模型及其预训练和微调数据集，为未来的研究提供了便利。

关键设计：RecGPT-7B基于70亿参数的Transformer架构。预训练数据集包含推荐相关的文本数据，例如商品描述、用户评论等。微调阶段采用监督学习的方式，使用评分预测和序列推荐等任务的数据进行训练。损失函数根据具体任务选择，例如均方误差（MSE）用于评分预测，交叉熵损失用于序列推荐。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，RecGPT-7B-Instruct在评分预测和序列推荐任务上均优于以往的强大基线模型。具体来说，在某些数据集上，RecGPT-7B-Instruct的性能提升幅度超过10%。这些结果证明了RecGPT在基于文本的推荐任务上的有效性。

🎯 应用场景

RecGPT可应用于各种基于文本的推荐场景，例如电商推荐、电影推荐、音乐推荐等。它可以根据用户的文本描述或历史行为，推荐相关的商品、电影或音乐。此外，RecGPT还可以用于生成推荐理由，提高推荐的可解释性和用户满意度。未来，RecGPT有望成为构建更智能、更个性化的推荐系统的关键技术。

📄 摘要（原文）

We present the first domain-adapted and fully-trained large language model, RecGPT-7B, and its instruction-following variant, RecGPT-7B-Instruct, for text-based recommendation. Experimental results on rating prediction and sequential recommendation tasks show that our model, RecGPT-7B-Instruct, outperforms previous strong baselines. We are releasing our RecGPT models as well as their pre-training and fine-tuning datasets to facilitate future research and downstream applications in text-based recommendation. Public "huggingface" links to our RecGPT models and datasets are available at: https://github.com/VinAIResearch/RecGPT