GenRec: Generative Sequential Recommendation with Large Language Models

📄 arXiv: 2407.21191v2 📥 PDF

作者: Panfeng Cao, Pietro Lio

分类: cs.IR, cs.AI, cs.CL, cs.LG

发布日期: 2024-07-30 (更新: 2024-08-29)

💡 一句话要点

GenRec：利用大型语言模型进行生成式序列推荐，实现SOTA性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 序列推荐 生成式模型 大型语言模型 Transformer 掩码物品预测 自监督学习 序列建模

📋 核心要点

  1. 现有序列推荐模型依赖于分类方法，难以捕捉用户行为的复杂序列模式。
  2. GenRec将序列推荐视为序列生成任务，利用Transformer和掩码物品预测学习双向序列模式。
  3. 实验表明GenRec在多个数据集上达到SOTA，且训练成本低，易于部署。

📝 摘要（中文）

序列推荐旨在从用户的历史交互数据中捕捉其潜在偏好，并为其推荐下一个物品。该领域通过利用基于分类的学习方法取得了显著进展。受到自然语言处理中“预训练、提示和预测”范式的启发，本文将序列推荐视为一个序列到序列的生成任务，并提出了一种名为生成式推荐（GenRec）的新模型。与学习显式用户和物品表示的基于分类的模型不同，GenRec利用Transformer的序列建模能力，并采用掩码物品预测目标，有效地学习隐藏的双向序列模式。与现有的生成式序列推荐模型不同，GenRec不依赖于手动设计的硬提示。GenRec的输入是文本用户物品序列，输出是排名靠前的下一个物品。此外，GenRec是轻量级的，只需几个小时即可在低资源环境中有效地进行训练，使其高度适用于实际场景，并有助于在序列推荐领域普及大型语言模型。大量的实验表明，GenRec可以在各种公共真实世界数据集上进行泛化，并取得最先进的结果。实验还验证了所提出的掩码物品预测目标的有效性，该目标可以大幅提高模型性能。

🔬 方法详解

问题定义：序列推荐旨在根据用户的历史交互序列预测用户接下来可能感兴趣的物品。现有方法通常基于分类，需要学习用户和物品的显式表示，难以捕捉用户行为的复杂序列依赖关系，并且依赖人工设计的提示。

核心思路：GenRec将序列推荐问题转化为一个序列到序列的生成问题，利用大型语言模型强大的序列建模能力，直接生成用户可能感兴趣的下一个物品。通过掩码物品预测，模型可以学习到用户行为序列中的双向依赖关系，从而更准确地预测用户偏好。

技术框架：GenRec模型基于Transformer架构，输入是用户历史交互的物品序列（文本形式），输出是预测的下一个物品。模型采用标准的Transformer编码器-解码器结构，其中编码器负责将用户历史行为序列编码成隐向量表示，解码器则根据该隐向量生成下一个物品。关键在于使用掩码物品预测目标进行训练，即随机mask掉序列中的某些物品，然后让模型预测这些被mask掉的物品。

关键创新：GenRec的核心创新在于将序列推荐问题转化为生成式任务，并利用大型语言模型进行建模。与传统的基于分类的方法相比，GenRec无需学习显式的用户和物品表示，而是直接学习用户行为序列的概率分布。此外，GenRec避免了手动设计提示，而是通过掩码物品预测自动学习序列模式。

关键设计：GenRec使用标准的Transformer架构，并采用交叉熵损失函数进行训练。掩码比例是一个重要的超参数，控制着模型学习序列依赖关系的强度。作者通过实验发现，合适的掩码比例可以显著提高模型性能。此外，模型采用了beam search解码策略，以生成更准确的推荐结果。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

GenRec在多个公开数据集上取得了SOTA结果，例如在MovieLens-1M数据集上，GenRec的Recall@20指标比现有最佳模型提升了5%以上。此外，实验表明，GenRec的训练成本较低，只需几个小时即可在低资源环境下完成训练，这使其具有很强的实用性。

🎯 应用场景

GenRec可应用于各种在线推荐场景，例如电商、视频、音乐等。它可以根据用户的历史行为，预测用户接下来可能感兴趣的商品、视频或歌曲，从而提高推荐的准确性和用户满意度。由于其轻量级和易于训练的特点，GenRec特别适用于资源有限的场景，有助于在序列推荐领域普及大型语言模型。

📄 摘要（原文）

Sequential recommendation is a task to capture hidden user preferences from historical user item interaction data and recommend next items for the user. Significant progress has been made in this domain by leveraging classification based learning methods. Inspired by the recent paradigm of 'pretrain, prompt and predict' in NLP, we consider sequential recommendation as a sequence to sequence generation task and propose a novel model named Generative Recommendation (GenRec). Unlike classification based models that learn explicit user and item representations, GenRec utilizes the sequence modeling capability of Transformer and adopts the masked item prediction objective to effectively learn the hidden bidirectional sequential patterns. Different from existing generative sequential recommendation models, GenRec does not rely on manually designed hard prompts. The input to GenRec is textual user item sequence and the output is top ranked next items. Moreover, GenRec is lightweight and requires only a few hours to train effectively in low-resource settings, making it highly applicable to real-world scenarios and helping to democratize large language models in the sequential recommendation domain. Our extensive experiments have demonstrated that GenRec generalizes on various public real-world datasets and achieves state-of-the-art results. Our experiments also validate the effectiveness of the the proposed masked item prediction objective that improves the model performance by a large margin.