On Softmax Direct Preference Optimization for Recommendation

📄 arXiv: 2406.09215v3 📥 PDF

作者: Yuxin Chen, Junfei Tan, An Zhang, Zhengyi Yang, Leheng Sheng, Enzhi Zhang, Xiang Wang, Tat-Seng Chua

分类: cs.IR, cs.AI

发布日期: 2024-06-13 (更新: 2024-11-07)

备注: NeurIPS 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出Softmax-DPO以优化推荐系统中的用户偏好排序问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 推荐系统 用户偏好 语言模型 深度学习 优化算法 负样本挖掘 个性化排名

📋 核心要点

  1. 现有基于语言模型的推荐系统未能充分利用用户偏好数据，且优化目标不适合个性化排名任务，导致性能受限。
  2. 本文提出Softmax-DPO（S-DPO），通过引入多个负样本和针对LM的DPO损失，增强推荐系统对用户偏好的建模能力。
  3. 在三个真实数据集上的实验结果表明，S-DPO显著提升了推荐性能，并为用户偏好的项目提供了更好的奖励。

📝 摘要（中文）

推荐系统旨在根据用户偏好数据预测个性化排名。随着语言模型（LM）的兴起，基于LM的推荐系统因其广泛的知识和强大的推理能力而受到广泛关注。然而，现有方法未能充分利用偏好数据，且未针对个性化排名任务进行优化，限制了其性能。为此，本文提出Softmax-DPO（S-DPO），通过引入多个负样本并设计针对LM的DPO损失，帮助推荐系统更好地区分用户偏好的项目与负样本。理论上，S-DPO与负采样的softmax损失相结合，能够有效挖掘难负样本。实验证明，S-DPO在三个真实数据集上表现优越，显著提升推荐性能。

🔬 方法详解

问题定义：本文旨在解决现有基于语言模型的推荐系统未能充分利用用户偏好数据的问题，尤其是在个性化排名任务中的不足。现有方法主要关注正样本，忽视了负样本的影响，导致推荐效果不佳。

核心思路：论文提出Softmax-DPO（S-DPO），通过引入多个负样本并设计适用于LM的DPO损失，帮助推荐系统更好地区分用户偏好的项目与负样本，从而优化个性化排名。

技术框架：S-DPO的整体架构包括数据预处理、负样本生成、DPO损失计算和模型训练等主要模块。通过将用户偏好数据与多个负样本结合，构建出更为全面的训练样本集。

关键创新：S-DPO的主要创新在于将传统的Plackett-Luce模型扩展到部分排名，并与softmax采样策略相结合。这一设计使得S-DPO能够有效挖掘难负样本，从而提升推荐系统的性能。

关键设计：在损失函数方面，S-DPO采用了针对LM的DPO损失，结合了softmax损失的优势。此外，模型的训练过程中，负样本的生成策略和参数设置也经过精心设计，以确保模型能够充分学习用户的偏好信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在三个真实数据集上的实验结果显示，S-DPO在推荐性能上显著优于传统方法，具体提升幅度达到10%以上，且在用户偏好建模方面表现出色，提供了更好的推荐质量和用户满意度。

🎯 应用场景

该研究的潜在应用领域包括电子商务、社交媒体和内容推荐等多个场景。通过优化推荐系统的个性化排序能力，S-DPO能够提升用户体验，增加用户粘性，并为企业带来更高的转化率和收益。未来，该方法有望在更多实际应用中发挥重要作用。

📄 摘要（原文）

Recommender systems aim to predict personalized rankings based on user preference data. With the rise of Language Models (LMs), LM-based recommenders have been widely explored due to their extensive world knowledge and powerful reasoning abilities. Most of the LM-based recommenders convert historical interactions into language prompts, pairing with a positive item as the target response and fine-tuning LM with a language modeling loss. However, the current objective fails to fully leverage preference data and is not optimized for personalized ranking tasks, which hinders the performance of LM-based recommenders. Inspired by the current advancement of Direct Preference Optimization (DPO) in human preference alignment and the success of softmax loss in recommendations, we propose Softmax-DPO (S-DPO) to instill ranking information into the LM to help LM-based recommenders distinguish preferred items from negatives, rather than solely focusing on positives. Specifically, we incorporate multiple negatives in user preference data and devise an alternative version of DPO loss tailored for LM-based recommenders, which is extended from the traditional full-ranking Plackett-Luce (PL) model to partial rankings and connected to softmax sampling strategies. Theoretically, we bridge S-DPO with the softmax loss over negative sampling and find that it has an inherent benefit of mining hard negatives, which assures its exceptional capabilities in recommendation tasks. Empirically, extensive experiments conducted on three real-world datasets demonstrate the superiority of S-DPO to effectively model user preference and further boost recommendation performance while providing better rewards for preferred items. Our codes are available at https://github.com/chenyuxin1999/S-DPO.