Large Language Model Empowered Recommendation Meets All-domain Continual Pre-Training
作者: Haokai Ma, Yunshan Ma, Ruobing Xie, Lei Meng, Jialie Shen, Xingwu Sun, Zhanhui Kang, Tat-Seng Chua
分类: cs.IR, cs.CL
发布日期: 2025-04-11
备注: In submission
💡 一句话要点
提出CPRec，通过全域持续预训练提升LLM在推荐系统中的性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 推荐系统 持续预训练 多领域学习 用户行为建模
📋 核心要点
- 现有方法难以同时兼顾通用语言表示与领域特定偏好，且对多领域推荐的适应性有限。
- CPRec通过全域持续预训练，统一提示模板，并模拟真实用户决策逻辑，对齐LLM与通用用户行为。
- 实验结果表明，CPRec显著缓解了语义-行为差异，并在多个真实数据集上取得了SOTA性能。
📝 摘要（中文）
本文提出了一种名为CPRec的推荐系统全域持续预训练框架，旨在弥合通用语言表示与领域特定偏好模式之间的差距，并提升LLM在多领域推荐场景中的适应性。CPRec通过持续预训练范式，将LLM与通用用户行为进行整体对齐。该框架设计了统一的提示模板，将用户的多领域行为组织成领域特定的行为序列和全域混合行为序列，模拟真实世界的用户决策逻辑。为了优化行为知识的注入，设计了一种Warmup-Stable-Annealing学习率调度策略，逐步增强LLM从开放世界知识到通用推荐任务的知识适应能力。在包含七个领域的大规模数据集上进行了实验，并在来自两个不同平台的五个真实世界数据集上进行了广泛的实验，结果表明CPRec显著缓解了语义-行为差异，并在所有推荐场景中实现了最先进的性能。
🔬 方法详解
问题定义：现有基于LLM的推荐方法主要采用在单领域用户交互数据上进行监督微调的方式，存在两个主要痛点：一是通用语言表示与领域特定用户偏好模式之间存在不匹配；二是模型对多领域推荐场景的适应性有限。
核心思路：论文的核心思路是通过持续预训练的方式，使LLM能够更好地理解和适应不同领域的用户行为模式。通过构建包含多领域用户行为的数据集，并设计合适的训练策略，让LLM逐步学习到通用的推荐知识，从而提升其在各个领域的推荐性能。
技术框架：CPRec框架主要包含以下几个关键模块：1) 数据构建模块：将用户的多领域行为组织成领域特定的行为序列和全域混合行为序列，模拟真实世界的用户决策逻辑。2) 提示模板设计模块：设计统一的提示模板，用于将用户行为序列输入到LLM中。3) 持续预训练模块：使用Warmup-Stable-Annealing学习率调度策略，对LLM进行持续预训练，使其逐步适应推荐任务。
关键创新：CPRec的关键创新在于提出了一个全域持续预训练框架，该框架能够有效地将LLM与通用用户行为进行对齐。通过模拟真实世界的用户决策逻辑，并设计合适的训练策略，CPRec能够显著提升LLM在推荐系统中的性能。与现有方法相比，CPRec能够更好地适应多领域推荐场景，并缓解语义-行为差异。
关键设计：CPRec的关键设计包括：1) 统一的提示模板：用于将用户行为序列输入到LLM中，确保输入格式的一致性。2) Warmup-Stable-Annealing学习率调度策略：该策略旨在逐步增强LLM从开放世界知识到通用推荐任务的知识适应能力，先进行warmup，然后稳定训练，最后进行退火，以防止过拟合。3) 多领域行为序列构建：将用户的多领域行为组织成领域特定的行为序列和全域混合行为序列，模拟真实世界的用户决策逻辑。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CPRec在五个真实世界数据集上取得了SOTA性能，显著缓解了语义-行为差异。具体来说，CPRec在多个数据集上相比现有最佳模型提升了X%，证明了其有效性。此外，实验还验证了Warmup-Stable-Annealing学习率调度策略的有效性。
🎯 应用场景
CPRec具有广泛的应用前景，可以应用于电商、新闻、视频等多个领域的推荐系统。通过提升LLM在推荐任务中的性能，CPRec可以帮助用户更快速地找到感兴趣的内容，提高用户满意度和平台收益。未来，CPRec还可以与其他技术相结合，例如知识图谱、强化学习等，进一步提升推荐系统的性能。
📄 摘要（原文）
Recent research efforts have investigated how to integrate Large Language Models (LLMs) into recommendation, capitalizing on their semantic comprehension and open-world knowledge for user behavior understanding. These approaches predominantly employ supervised fine-tuning on single-domain user interactions to adapt LLMs for specific recommendation tasks. However, they typically encounter dual challenges: the mismatch between general language representations and domain-specific preference patterns, as well as the limited adaptability to multi-domain recommendation scenarios. To bridge these gaps, we introduce CPRec -- an All-domain Continual Pre-Training framework for Recommendation -- designed to holistically align LLMs with universal user behaviors through the continual pre-training paradigm. Specifically, we first design a unified prompt template and organize users' multi-domain behaviors into domain-specific behavioral sequences and all-domain mixed behavioral sequences that emulate real-world user decision logic. To optimize behavioral knowledge infusion, we devise a Warmup-Stable-Annealing learning rate schedule tailored for the continual pre-training paradigm in recommendation to progressively enhance the LLM's capability in knowledge adaptation from open-world knowledge to universal recommendation tasks. To evaluate the effectiveness of our CPRec, we implement it on a large-scale dataset covering seven domains and conduct extensive experiments on five real-world datasets from two distinct platforms. Experimental results confirm that our continual pre-training paradigm significantly mitigates the semantic-behavioral discrepancy and achieves state-of-the-art performance in all recommendation scenarios. The source code will be released upon acceptance.