Mitigating Propensity Bias of Large Language Models for Recommender Systems

📄 arXiv: 2409.20052v2 📥 PDF

作者: Guixian Zhang, Guan Yuan, Debo Cheng, Lin Liu, Jiuyong Li, Shichao Zhang

分类: cs.IR, cs.AI

发布日期: 2024-09-30 (更新: 2025-04-11)

💡 一句话要点

提出CLLMR框架，缓解大语言模型推荐系统中的倾向性偏差和维度坍塌问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推荐系统 大语言模型 倾向性偏差 反事实推理 维度坍塌 因果推断 辅助信息

📋 核心要点

  1. 现有基于LLM的推荐系统易受LLM自身偏差的影响，导致推荐结果失真，用户体验不佳。
  2. CLLMR框架通过频谱编码器嵌入结构信息，避免维度坍塌，并利用反事实推理抵消LLM偏差。
  3. 实验结果表明，CLLMR能够显著提升多种推荐模型的性能，验证了其有效性。

📝 摘要（中文）

大语言模型(LLM)的快速发展为推荐系统带来了新的机遇，特别是通过利用这些模型生成的辅助信息(例如，物品的描述和分析)。然而，将这些辅助信息与来自历史交互的协同信息对齐带来了巨大的挑战。LLM中固有的偏差会扭曲推荐结果，导致失真和潜在的不公平的用户体验。另一方面，倾向性偏差导致辅助信息以一种倾向于在低维子空间中表示所有输入的方式对齐，导致维度坍塌现象，严重限制了推荐系统捕获用户偏好和行为的能力。为了解决这些问题，我们引入了一个名为Counterfactual LLM Recommendation (CLLMR)的新框架。具体来说，我们提出了一种基于频谱的辅助信息编码器，它将来自历史交互的结构信息隐式地嵌入到辅助信息表示中，从而避免了维度坍塌的风险。此外，我们的CLLMR方法探索了基于LLM的推荐系统中固有的因果关系。通过利用反事实推理，我们抵消了LLM引入的偏差。大量的实验表明，我们的CLLMR方法始终如一地提高了各种推荐模型的性能。

🔬 方法详解

问题定义：论文旨在解决大语言模型(LLM)应用于推荐系统时产生的倾向性偏差和维度坍塌问题。现有方法直接利用LLM生成的辅助信息，但LLM固有的偏差会影响推荐的公平性和准确性。此外，LLM倾向于将所有输入映射到低维空间，导致维度坍塌，使得推荐系统难以捕捉用户细粒度的偏好。

核心思路：论文的核心思路是利用反事实推理来抵消LLM引入的偏差，并设计一种基于频谱的辅助信息编码器来避免维度坍塌。通过反事实推理，模型可以学习到在没有LLM偏差的情况下，用户可能产生的交互行为。频谱编码器则通过嵌入历史交互的结构信息，丰富辅助信息的表示，从而避免维度坍塌。

技术框架：CLLMR框架主要包含两个核心模块：频谱辅助信息编码器和反事实推理模块。首先，频谱辅助信息编码器将历史交互数据中的结构信息嵌入到LLM生成的辅助信息表示中。然后，反事实推理模块利用因果图建模LLM偏差对用户行为的影响，并通过反事实干预来估计无偏差情况下的用户行为。最后，模型基于无偏差的用户行为进行推荐。

关键创新：论文的关键创新在于：(1) 提出了一种基于频谱的辅助信息编码器，能够有效避免维度坍塌；(2) 利用反事实推理来抵消LLM引入的偏差，从而提高推荐的公平性和准确性。与现有方法相比，CLLMR能够更有效地利用LLM生成的辅助信息，并减轻LLM偏差带来的负面影响。

关键设计：频谱辅助信息编码器利用图傅里叶变换将历史交互图的结构信息嵌入到辅助信息表示中。反事实推理模块使用因果图建模LLM偏差对用户行为的影响，并使用后门调整(backdoor adjustment)来估计反事实结果。具体的损失函数包括推荐损失、反事实损失和正则化项，用于优化模型参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CLLMR在多个基准数据集上显著优于现有的推荐模型。例如，在MovieLens-1M数据集上，CLLMR相比于表现最佳的基线模型，在Recall@20指标上提升了5%以上。此外，消融实验验证了频谱编码器和反事实推理模块的有效性。

🎯 应用场景

该研究成果可应用于各种基于大语言模型的推荐系统，例如电商推荐、新闻推荐、视频推荐等。通过缓解LLM偏差和维度坍塌问题，可以提高推荐的准确性、公平性和多样性，从而提升用户体验和平台收益。此外，该研究也为如何更好地利用大语言模型进行推荐提供了新的思路。

📄 摘要（原文）

The rapid development of Large Language Models (LLMs) creates new opportunities for recommender systems, especially by exploiting the side information (e.g., descriptions and analyses of items) generated by these models. However, aligning this side information with collaborative information from historical interactions poses significant challenges. The inherent biases within LLMs can skew recommendations, resulting in distorted and potentially unfair user experiences. On the other hand, propensity bias causes side information to be aligned in such a way that it often tends to represent all inputs in a low-dimensional subspace, leading to a phenomenon known as dimensional collapse, which severely restricts the recommender system's ability to capture user preferences and behaviours. To address these issues, we introduce a novel framework named Counterfactual LLM Recommendation (CLLMR). Specifically, we propose a spectrum-based side information encoder that implicitly embeds structural information from historical interactions into the side information representation, thereby circumventing the risk of dimension collapse. Furthermore, our CLLMR approach explores the causal relationships inherent in LLM-based recommender systems. By leveraging counterfactual inference, we counteract the biases introduced by LLMs. Extensive experiments demonstrate that our CLLMR approach consistently enhances the performance of various recommender models.