Customizing Language Models with Instance-wise LoRA for Sequential Recommendation
作者: Xiaoyu Kong, Jiancan Wu, An Zhang, Leheng Sheng, Hui Lin, Xiang Wang, Xiangnan He
分类: cs.IR, cs.AI
发布日期: 2024-08-19 (更新: 2025-01-21)
备注: NeurIPS 2024 poster
期刊: 38th Conference on Neural Information Processing Systems (NeurIPS 2024)
🔗 代码/项目: GITHUB
💡 一句话要点
提出iLoRA，通过实例LoRA定制化语言模型，提升序列推荐性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 序列推荐 大型语言模型 参数高效微调 低秩适应 专家混合
📋 核心要点
- 现有方法在序列推荐中统一应用LoRA，无法捕捉用户行为的个体差异，导致负迁移。
- iLoRA将序列推荐视为多任务学习，结合LoRA与MoE，让不同专家学习用户行为的不同方面。
- 实验表明，iLoRA在命中率上比LoRA平均提升11.4%，且参数增加不到1%，有效提升推荐准确性。
📝 摘要（中文）
序列推荐系统旨在根据用户过去的行为预测其下一次交互的物品，从而使推荐与个人偏好相符。 近期研究倾向于利用大型语言模型（LLM）在知识理解和推理方面的优势，将其应用于序列推荐。一种常见的范例是将用户行为序列转换为指令数据，并使用参数高效微调（PEFT）方法（如低秩适应（LoRA））对LLM进行微调。然而，在不同的用户行为中统一应用LoRA不足以捕捉个体差异，导致不同序列之间的负迁移。为了解决这些挑战，我们提出了实例LoRA（iLoRA）。我们创新性地将序列推荐任务视为一种多任务学习形式，将LoRA与专家混合（MoE）框架集成。这种方法鼓励不同的专家捕捉用户行为的各个方面。此外，我们引入了一种序列表示引导的门控函数，该函数为每个用户序列生成定制的专家参与权重，从而允许为实例推荐动态调整参数。在序列推荐中，iLoRA在命中率指标上实现了比基本LoRA平均相对提高11.4％，而可训练参数的相对增加不到1％。在三个基准数据集上的大量实验表明了iLoRA的有效性，突出了其与现有方法相比在减轻负迁移和提高推荐准确性方面的优越性能。我们的数据和代码可在https://github.com/AkaliKong/iLoRA获得。
🔬 方法详解
问题定义：论文旨在解决序列推荐中，由于用户行为序列的多样性，统一应用LoRA进行模型微调时，无法有效捕捉个体用户偏好，导致负迁移的问题。现有方法忽略了用户行为的差异性，使得模型在学习过程中受到不相关甚至冲突信息的影响，降低了推荐的准确性。
核心思路：论文的核心思路是将序列推荐任务视为一个多任务学习问题，每个任务对应用户行为序列的一个特定方面。通过引入专家混合（MoE）机制，让不同的专家学习用户行为的不同模式，并使用实例相关的门控函数动态调整专家参与权重，从而实现对每个用户序列的定制化参数调整。
技术框架：iLoRA的整体框架包括以下几个主要模块：1) LoRA模块：作为基础的参数高效微调方法，用于调整LLM的参数。2) MoE模块：包含多个专家网络，每个专家负责学习用户行为序列的一个特定方面。3) 序列表示模块：用于提取用户行为序列的表示向量。4) 门控函数：根据序列表示向量，动态生成每个专家的参与权重。整个流程是：首先，用户行为序列通过序列表示模块得到表示向量；然后，门控函数根据该向量计算出每个专家的权重；最后，LoRA模块结合MoE模块，根据专家权重对LLM进行微调，得到最终的推荐模型。
关键创新：iLoRA的关键创新在于将LoRA与MoE框架相结合，并引入了序列表示引导的门控函数。这种设计使得模型能够根据不同的用户行为序列，动态调整专家网络的参与程度，从而实现实例级别的参数定制化。与传统的LoRA方法相比，iLoRA能够更好地捕捉用户行为的个体差异，减轻负迁移的影响，提高推荐的准确性。
关键设计：门控函数的设计是iLoRA的关键。论文使用一个小型神经网络作为门控函数，输入是用户行为序列的表示向量，输出是每个专家的权重。损失函数包括推荐任务的损失和专家权重正则化项，用于平衡不同专家的参与程度，避免某些专家过度主导。具体的网络结构和参数设置在论文中有详细描述，例如，专家网络的数量、LoRA的秩的大小、门控函数的层数等。
🖼️ 关键图片
📊 实验亮点
实验结果表明，iLoRA在三个基准数据集上均取得了显著的性能提升。与基本的LoRA方法相比，iLoRA在命中率（Hit Ratio）指标上平均提升了11.4%，而可训练参数的增加不到1%。此外，iLoRA还优于其他现有的序列推荐方法，证明了其在减轻负迁移和提高推荐准确性方面的有效性。消融实验也验证了MoE模块和门控函数对性能提升的贡献。
🎯 应用场景
iLoRA可应用于各种序列推荐场景，例如电商推荐、视频推荐、新闻推荐等。通过更精准地捕捉用户个性化偏好，可以显著提升推荐系统的点击率、转化率等关键指标，从而为企业带来更大的商业价值。此外，该方法还可以扩展到其他需要个性化建模的任务中，例如自然语言生成、图像生成等。
📄 摘要（原文）
Sequential recommendation systems predict the next interaction item based on users' past interactions, aligning recommendations with individual preferences. Leveraging the strengths of Large Language Models (LLMs) in knowledge comprehension and reasoning, recent approaches are eager to apply LLMs to sequential recommendation. A common paradigm is converting user behavior sequences into instruction data, and fine-tuning the LLM with parameter-efficient fine-tuning (PEFT) methods like Low-Rank Adaption (LoRA). However, the uniform application of LoRA across diverse user behaviors is insufficient to capture individual variability, resulting in negative transfer between disparate sequences. To address these challenges, we propose Instance-wise LoRA (iLoRA). We innovatively treat the sequential recommendation task as a form of multi-task learning, integrating LoRA with the Mixture of Experts (MoE) framework. This approach encourages different experts to capture various aspects of user behavior. Additionally, we introduce a sequence representation guided gate function that generates customized expert participation weights for each user sequence, which allows dynamic parameter adjustment for instance-wise recommendations. In sequential recommendation, iLoRA achieves an average relative improvement of 11.4\% over basic LoRA in the hit ratio metric, with less than a 1\% relative increase in trainable parameters. Extensive experiments on three benchmark datasets demonstrate the effectiveness of iLoRA, highlighting its superior performance compared to existing methods in mitigating negative transfer and improving recommendation accuracy. Our data and code are available at https://github.com/AkaliKong/iLoRA.