Full-Stack Optimized Large Language Models for Lifelong Sequential Behavior Comprehension in Recommendation

📄 arXiv: 2501.13344v1 📥 PDF

作者: Rong Shan, Jiachen Zhu, Jianghao Lin, Chenxu Zhu, Bo Chen, Ruiming Tang, Yong Yu, Weinan Zhang

分类: cs.IR, cs.AI

发布日期: 2025-01-23

备注: Under Review

💡 一句话要点

提出ReLLaX框架，优化LLM在推荐系统中对长序列用户行为的理解。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推荐系统 大型语言模型 序列建模 用户行为理解 检索增强

📋 核心要点

  1. 现有LLM在推荐系统中难以有效处理长序列用户行为，导致信息提取不足。
  2. ReLLaX框架从数据、提示和参数三个层面优化LLM，提升其序列行为理解能力。
  3. 实验表明，ReLLaX在多个数据集上显著优于现有方法，有效缓解了长序列行为理解问题。

📝 摘要（中文）

本文旨在解决推荐系统中大型语言模型(LLM)对长期序列行为理解不足的问题，即使在上下文窗口内，LLM也难以从长用户行为序列中提取有效信息。为此，我们提出了ReLLaX（检索增强的大型语言模型Plus）框架，该框架在数据、提示和参数层面进行优化。在数据层面，我们引入了语义用户行为检索(SUBR)来降低序列异质性，使LLM更容易提取关键信息。在提示层面，我们采用软提示增强(SPA)来注入协同知识，将项目表示与推荐任务对齐，并提高LLM对项目关系的探索。在参数层面，我们提出了组件全交互LoRA(CFLoRA)，通过启用组件之间的交互来增强LoRA的表达能力，从而更好地捕获序列信息。此外，我们提出了新的视角来比较当前基于LoRA的LLM4Rec方法，即从组合和分解的视角。我们从理论上证明，它们使用LoRA进行推荐的方式是我们的CFLoRA的降级版本，对原子组件交互有不同的约束。在三个公共数据集上的大量实验表明，ReLLaX优于现有的基线，并且能够有效地缓解终身序列行为理解不足的问题。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）在推荐系统中，即使在上下文窗口的限制内，也难以从用户的长期行为序列中提取有用的信息。这主要是因为用户行为序列的异质性高，导致LLM难以捕捉到关键的用户偏好和项目之间的关系。现有的方法通常无法有效地利用这些长期序列信息，从而影响推荐的准确性。

核心思路：ReLLaX的核心思路是通过多层次的优化，提升LLM对长期用户行为序列的理解能力。具体来说，它从数据层面降低序列的异质性，从提示层面注入协同知识，并从参数层面增强模型的表达能力。通过这三个层面的协同作用，ReLLaX能够更有效地利用长期序列信息，从而提升推荐性能。

技术框架：ReLLaX框架包含三个主要模块：语义用户行为检索（SUBR）、软提示增强（SPA）和组件全交互LoRA（CFLoRA）。首先，SUBR模块通过检索与当前用户行为相关的语义信息，降低序列的异质性。然后，SPA模块通过软提示的方式，将协同知识注入到LLM中，帮助模型更好地理解项目之间的关系。最后，CFLoRA模块通过增强LoRA的表达能力，使模型能够更好地捕捉序列信息。这三个模块协同工作，共同提升LLM的推荐性能。

关键创新：ReLLaX的关键创新在于其多层次的优化策略。与现有的方法相比，ReLLaX不仅考虑了数据层面的优化，还考虑了提示和参数层面的优化。此外，CFLoRA模块通过允许LoRA组件之间的交互，显著提升了LoRA的表达能力，使其能够更好地捕捉序列信息。这种多层次的优化策略是ReLLaX能够取得优异性能的关键。

关键设计：SUBR模块使用预训练的语言模型来编码用户行为序列，并使用余弦相似度来检索相关的语义信息。SPA模块使用可学习的软提示，将协同知识注入到LLM中。CFLoRA模块通过引入额外的参数，允许LoRA组件之间的交互。损失函数采用标准的交叉熵损失函数，用于优化模型的参数。具体的网络结构和参数设置根据不同的数据集和任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ReLLaX在三个公共数据集上均优于现有的基线方法。例如，在某个数据集上，ReLLaX的Recall@20指标比最佳基线提高了5%以上。此外，消融实验表明，SUBR、SPA和CFLoRA三个模块都对性能提升有贡献，验证了ReLLaX框架的有效性。

🎯 应用场景

ReLLaX框架可应用于各种推荐系统，尤其是在需要处理长期用户行为序列的场景中，例如电商、视频平台、新闻推荐等。通过提升LLM对用户行为的理解能力，ReLLaX可以显著提高推荐的准确性和用户满意度，从而带来更高的商业价值。未来，该框架还可以扩展到其他序列建模任务中，例如自然语言处理和时间序列预测。

📄 摘要（原文）

In this paper, we address the lifelong sequential behavior incomprehension problem in large language models (LLMs) for recommendation, where LLMs struggle to extract useful information from long user behavior sequences, even within their context limits. To tackle this, we propose ReLLaX (Retrieval-enhanced Large Language models Plus), a framework offering optimization across data, prompt, and parameter levels. At the data level, we introduce Semantic User Behavior Retrieval (SUBR) to reduce sequence heterogeneity, making it easier for LLMs to extract key information. For prompt-level enhancement, we employ Soft Prompt Augmentation (SPA) to inject collaborative knowledge, aligning item representations with recommendation tasks and improving LLMs's exploration of item relationships. Finally, at the parameter level, we propose Component Fully-interactive LoRA (CFLoRA), which enhances LoRA's expressiveness by enabling interactions between its components, allowing better capture of sequential information. Moreover, we present new perspectives to compare current LoRA-based LLM4Rec methods, i.e. from both a composite and a decomposed view. We theoretically demonstrate that the ways they employ LoRA for recommendation are degraded versions of our CFLoRA, with different constraints on atom component interactions. Extensive experiments on three public datasets demonstrate ReLLaX's superiority over existing baselines and its ability to mitigate lifelong sequential behavior incomprehension effectively.