Beyond Unimodal Boundaries: Generative Recommendation with Multimodal Semantics

📄 arXiv: 2503.23333v1 📥 PDF

作者: Jing Zhu, Mingxuan Ju, Yozen Liu, Danai Koutra, Neil Shah, Tong Zhao

分类: cs.IR, cs.AI, cs.CL, cs.CV

发布日期: 2025-03-30

💡 一句话要点

提出MGR-LF++框架，通过对比模态对齐和特殊token，提升多模态生成推荐性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 生成式推荐 对比学习 模态对齐 推荐系统

📋 核心要点

  1. 现有生成式推荐模型主要处理单模态数据，忽略了真实世界数据的多模态特性，限制了模型的表达能力。
  2. 论文提出MGR-LF++框架，通过对比模态对齐和特殊token，有效融合多模态信息，提升生成式推荐的性能。
  3. 实验结果表明，MGR-LF++框架相比单模态方法，性能提升超过20%，验证了多模态融合的有效性。

📝 摘要（中文）

生成式推荐(GR)已成为推荐系统中一种强大的范式，它将模态和语义隐式地链接到物品表示。与之前依赖于自回归模型中非语义物品标识符的方法不同，以往的研究主要孤立地处理模态，通常假设物品内容是单模态的（通常是文本）。鉴于真实世界数据的丰富多模态特性以及GR模型对模态选择和使用的潜在敏感性，这是一个重大限制。本文旨在探讨多模态生成推荐(MGR)的关键问题，强调模态选择在GR框架中的重要性。研究揭示了GR模型对不同模态特别敏感，并检验了在有多个模态可用时实现有效GR的挑战。通过评估有效利用多个模态的设计策略，我们识别了关键挑战，并提出了MGR-LF++，这是一种增强的后期融合框架，它采用对比模态对齐和特殊token来表示不同的模态，与单模态替代方案相比，性能提高了20%以上。

🔬 方法详解

问题定义：现有生成式推荐模型通常只关注单模态信息（如文本），无法充分利用物品的多模态特征（如图像、音频等）。这导致模型对物品的理解不够全面，推荐效果受到限制。此外，不同的模态对于生成式推荐模型的敏感度不同，如何有效地融合多模态信息是一个挑战。

核心思路：论文的核心思路是通过对比学习的方式，将不同模态的信息对齐到同一个语义空间，从而更好地融合多模态特征。同时，使用特殊token来区分不同的模态，帮助模型更好地理解和利用不同模态的信息。

技术框架：MGR-LF++框架是一个后期融合框架，主要包含以下几个模块：1) 多模态特征提取模块：用于提取不同模态的特征表示。2) 对比模态对齐模块：通过对比学习的方式，将不同模态的特征表示对齐到同一个语义空间。3) 特殊token嵌入模块：为每个模态引入特殊的token，用于区分不同的模态。4) 生成式推荐模块：利用融合后的多模态特征进行物品推荐。

关键创新：论文的关键创新在于提出了对比模态对齐和特殊token嵌入的方法，有效地解决了多模态融合的问题。对比模态对齐能够将不同模态的信息对齐到同一个语义空间，从而更好地融合多模态特征。特殊token嵌入能够帮助模型更好地理解和利用不同模态的信息。

关键设计：对比模态对齐模块使用InfoNCE损失函数进行训练，目标是最大化正样本对（同一物品的不同模态特征）之间的相似度，最小化负样本对（不同物品的不同模态特征）之间的相似度。特殊token嵌入模块为每个模态引入一个可学习的嵌入向量，并将该向量添加到对应模态的特征表示中。生成式推荐模块可以使用Transformer等序列生成模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MGR-LF++框架在多个数据集上取得了显著的性能提升。与单模态方法相比，MGR-LF++框架的性能提升超过20%。此外，实验还验证了对比模态对齐和特殊token嵌入的有效性，证明了多模态融合对于生成式推荐的重要性。

🎯 应用场景

该研究成果可应用于电商、视频、音乐等领域，提升推荐系统的性能和用户体验。例如，在电商领域，可以利用商品的图像、文本描述等多模态信息，更准确地理解商品特征，从而为用户推荐更符合其需求的商品。在视频领域，可以利用视频的内容、标题、评论等多模态信息，为用户推荐更感兴趣的视频。

📄 摘要（原文）

Generative recommendation (GR) has become a powerful paradigm in recommendation systems that implicitly links modality and semantics to item representation, in contrast to previous methods that relied on non-semantic item identifiers in autoregressive models. However, previous research has predominantly treated modalities in isolation, typically assuming item content is unimodal (usually text). We argue that this is a significant limitation given the rich, multimodal nature of real-world data and the potential sensitivity of GR models to modality choices and usage. Our work aims to explore the critical problem of Multimodal Generative Recommendation (MGR), highlighting the importance of modality choices in GR nframeworks. We reveal that GR models are particularly sensitive to different modalities and examine the challenges in achieving effective GR when multiple modalities are available. By evaluating design strategies for effectively leveraging multiple modalities, we identify key challenges and introduce MGR-LF++, an enhanced late fusion framework that employs contrastive modality alignment and special tokens to denote different modalities, achieving a performance improvement of over 20% compared to single-modality alternatives.