Large Language Models are Not Stable Recommender Systems

📄 arXiv: 2312.15746v1 📥 PDF

作者: Tianhui Ma, Yuan Cheng, Hengshu Zhu, Hui Xiong

分类: cs.IR, cs.AI

发布日期: 2023-12-25

💡 一句话要点

提出STELLA框架，解决大语言模型推荐系统中的位置偏差问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推荐系统 位置偏差 贝叶斯方法 稳定性 校准 探测学习

📋 核心要点

  1. 直接使用大语言模型（LLMs）进行推荐面临位置偏差问题，导致推荐结果不稳定。
  2. STELLA框架通过探测阶段识别位置偏差模式，并在推荐阶段使用贝叶斯方法校准LLMs的输出。
  3. 实验结果表明，STELLA框架能够有效校准LLMs的不稳定性，显著提升推荐性能。

📝 摘要（中文）

随着大型语言模型（LLMs）在自然语言处理任务中取得显著成功，研究人员对探索LLMs在新型推荐系统中的应用越来越感兴趣。然而，我们观察到直接使用LLMs作为推荐系统通常是不稳定的，这归因于其固有的位置偏差。为此，我们进行了探索性研究，并在LLMs中发现了一致的位置偏差模式，这些模式影响了各种场景下的推荐性能。然后，我们提出了一个贝叶斯概率框架STELLA（用于推荐的稳定LLM），它包含一个两阶段流程。在第一个探测阶段，我们使用探测检测数据集识别转移矩阵中的模式。在第二个推荐阶段，采用贝叶斯策略，利用熵指标调整LLMs的有偏输出。因此，我们的框架可以利用现有的模式信息来校准LLMs的不稳定性，并提高推荐性能。最后，大量的实验清楚地验证了我们框架的有效性。

🔬 方法详解

问题定义：论文旨在解决直接使用大型语言模型（LLMs）作为推荐系统时出现的不稳定问题，这种不稳定性主要源于LLMs固有的位置偏差。现有方法直接利用LLMs进行推荐，忽略了位置偏差的影响，导致推荐结果的准确性和稳定性下降。

核心思路：论文的核心思路是首先通过探测（probing）的方式识别LLMs中的位置偏差模式，然后利用这些模式来校准LLMs的输出，从而提高推荐系统的稳定性和准确性。这种方法的核心在于将位置偏差视为一种可学习和可校正的因素。

技术框架：STELLA框架包含两个主要阶段：探测阶段和推荐阶段。在探测阶段，利用一个专门设计的探测检测数据集，通过分析LLMs的输出，构建一个转移矩阵，该矩阵反映了LLMs中不同位置之间的偏差模式。在推荐阶段，利用贝叶斯策略，结合探测阶段得到的转移矩阵，对LLMs的原始输出进行调整。同时，引入熵指标来衡量推荐结果的不确定性，进一步优化校准过程。

关键创新：该论文的关键创新在于提出了一个完整的框架，能够有效地识别和校准LLMs中的位置偏差。与现有方法相比，STELLA框架不仅考虑了LLMs的强大生成能力，还关注了其固有的偏差问题，并通过贝叶斯方法进行校准，从而提高了推荐系统的稳定性和准确性。

关键设计：在探测阶段，探测检测数据集的设计至关重要，需要能够充分反映LLMs在不同位置上的偏差模式。转移矩阵的构建方式也需要仔细考虑，以确保能够准确捕捉位置之间的关系。在推荐阶段，贝叶斯策略的具体实现，包括先验概率的选择、似然函数的定义以及后验概率的计算，都会影响最终的校准效果。熵指标的选择和使用也需要根据具体的应用场景进行调整。

📊 实验亮点

实验结果表明，STELLA框架能够显著提高推荐系统的性能。具体而言，与直接使用LLMs作为推荐系统相比，STELLA框架在多个数据集上取得了显著的性能提升，例如在Recall@K和NDCG@K等指标上均有明显改善。实验还验证了STELLA框架在不同场景下的鲁棒性。

🎯 应用场景

该研究成果可应用于各种基于大型语言模型的推荐系统，例如电商推荐、新闻推荐、电影推荐等。通过校准LLMs的位置偏差，可以提高推荐结果的准确性和用户满意度，从而提升平台的商业价值。未来，该方法还可以扩展到其他类型的偏差校准，进一步提升LLMs在推荐系统中的应用效果。

📄 摘要（原文）

With the significant successes of large language models (LLMs) in many natural language processing tasks, there is growing interest among researchers in exploring LLMs for novel recommender systems. However, we have observed that directly using LLMs as a recommender system is usually unstable due to its inherent position bias. To this end, we introduce exploratory research and find consistent patterns of positional bias in LLMs that influence the performance of recommendation across a range of scenarios. Then, we propose a Bayesian probabilistic framework, STELLA (Stable LLM for Recommendation), which involves a two-stage pipeline. During the first probing stage, we identify patterns in a transition matrix using a probing detection dataset. And in the second recommendation stage, a Bayesian strategy is employed to adjust the biased output of LLMs with an entropy indicator. Therefore, our framework can capitalize on existing pattern information to calibrate instability of LLMs, and enhance recommendation performance. Finally, extensive experiments clearly validate the effectiveness of our framework.