Molar: Multimodal LLMs with Collaborative Filtering Alignment for Enhanced Sequential Recommendation

📄 arXiv: 2412.18176v2 📥 PDF

作者: Yucong Luo, Qitao Qin, Hao Zhang, Mingyue Cheng, Ruiran Yan, Kefan Wang, Jie Ouyang

分类: cs.IR, cs.AI

发布日期: 2024-12-24 (更新: 2024-12-30)

💡 一句话要点

Molar：融合多模态信息与协同过滤对齐的LLM序列推荐框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 序列推荐 多模态学习 大语言模型 协同过滤 表示学习 用户建模 后对齐

📋 核心要点

  1. 现有LLM序列推荐方法主要依赖文本信息，忽略了其他模态数据和协同过滤信息，导致推荐性能受限。
  2. Molar框架通过MLLM融合多模态内容与ID信息，生成统一的物品表示，并采用后对齐机制整合协同过滤信号。
  3. 实验结果表明，Molar显著优于传统和基于LLM的基线方法，验证了其在序列推荐任务中利用多模态数据和协同信号的有效性。

📝 摘要（中文）

序列推荐系统在过去十年中经历了显著发展，从传统的协同过滤到深度学习方法，再到最近的大语言模型（LLM）。虽然LLM的采用推动了显著的进步，但这些模型本质上缺乏协同过滤信息，主要依赖于文本内容数据，忽略了其他模态，因此未能实现最佳的推荐性能。为了解决这个限制，我们提出了Molar，一个多模态大语言序列推荐框架，它集成了多种内容模态与ID信息，以有效地捕获协同信号。Molar采用MLLM从文本和非文本数据生成统一的物品表示，促进全面的多模态建模并丰富物品嵌入。此外，它通过后对齐机制整合协同过滤信号，该机制对齐来自基于内容和基于ID的模型的用户表示，确保精确的个性化和强大的性能。通过无缝地结合多模态内容与协同过滤洞察，Molar捕获用户兴趣和上下文语义，从而实现卓越的推荐准确性。广泛的实验验证了Molar显著优于传统和基于LLM的基线，突出了其在利用多模态数据和协同信号进行序列推荐任务方面的优势。

🔬 方法详解

问题定义：现有基于LLM的序列推荐方法主要依赖于文本内容，忽略了其他模态的信息（如图像、音频等），并且缺乏传统的协同过滤信息。这导致模型无法充分捕捉用户的兴趣和物品之间的关联性，从而影响推荐的准确性。现有方法的痛点在于无法有效地融合多模态信息和协同过滤信号。

核心思路：Molar的核心思路是将多模态内容信息（文本、图像等）与协同过滤信息相结合，从而更全面地理解用户和物品。通过多模态大语言模型（MLLM）生成统一的物品表示，并利用后对齐机制将基于内容的模型和基于ID的模型进行对齐，从而实现更精确的个性化推荐。

技术框架：Molar框架主要包含以下几个模块：1) 多模态编码器：使用MLLM对物品的文本和非文本数据进行编码，生成统一的物品表示。2) 基于内容的推荐模型：利用多模态物品表示进行推荐。3) 基于ID的推荐模型：利用传统的协同过滤方法，如矩阵分解或神经网络，进行推荐。4) 后对齐模块：将基于内容的模型和基于ID的模型的用户表示进行对齐，从而融合多模态信息和协同过滤信号。

关键创新：Molar的关键创新在于：1) 提出了一个多模态大语言序列推荐框架，能够有效地融合多模态内容信息和协同过滤信息。2) 采用后对齐机制，将基于内容的模型和基于ID的模型进行对齐，从而实现更精确的个性化推荐。3) 利用MLLM生成统一的物品表示，能够更好地捕捉物品的语义信息。

关键设计：Molar的关键设计包括：1) MLLM的选择和训练：选择合适的MLLM，并使用多模态数据进行训练，以生成高质量的物品表示。2) 后对齐机制的设计：设计有效的后对齐机制，以将基于内容的模型和基于ID的模型的用户表示进行对齐。可以采用对比学习等方法。3) 损失函数的设计：设计合适的损失函数，以优化模型的性能。可以采用交叉熵损失、BPR损失等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Molar在多个序列推荐数据集上显著优于传统和基于LLM的基线方法。具体而言，Molar在Recall@K和NDCG@K等指标上取得了显著提升，验证了其在利用多模态数据和协同信号进行序列推荐任务方面的有效性。例如，相较于最佳基线，Molar在Recall@20上提升了超过5%。

🎯 应用场景

Molar框架可应用于电商、视频、音乐等多种推荐场景，尤其适用于物品具有丰富多模态信息的场景。通过融合多模态信息和协同过滤信号，Molar能够更准确地理解用户兴趣，提升推荐的个性化程度和准确性，从而提高用户满意度和平台收益。未来，该研究可以扩展到更复杂的推荐场景，例如社交推荐、新闻推荐等。

📄 摘要（原文）

Sequential recommendation (SR) systems have evolved significantly over the past decade, transitioning from traditional collaborative filtering to deep learning approaches and, more recently, to large language models (LLMs). While the adoption of LLMs has driven substantial advancements, these models inherently lack collaborative filtering information, relying primarily on textual content data neglecting other modalities and thus failing to achieve optimal recommendation performance. To address this limitation, we propose Molar, a Multimodal large language sequential recommendation framework that integrates multiple content modalities with ID information to capture collaborative signals effectively. Molar employs an MLLM to generate unified item representations from both textual and non-textual data, facilitating comprehensive multimodal modeling and enriching item embeddings. Additionally, it incorporates collaborative filtering signals through a post-alignment mechanism, which aligns user representations from content-based and ID-based models, ensuring precise personalization and robust performance. By seamlessly combining multimodal content with collaborative filtering insights, Molar captures both user interests and contextual semantics, leading to superior recommendation accuracy. Extensive experiments validate that Molar significantly outperforms traditional and LLM-based baselines, highlighting its strength in utilizing multimodal data and collaborative signals for sequential recommendation tasks. The source code is available at https://anonymous.4open.science/r/Molar-8B06/.