Gated Multimodal Graph Learning for Personalized Recommendation

📄 arXiv: 2506.00107v1 📥 PDF

作者: Sibei Liu, Yuanzhe Zhang, Xiang Li, Yunbo Liu, Chengwei Feng, Hao Yang

分类: cs.IR, cs.AI

发布日期: 2025-05-30

💡 一句话要点

提出RLMultimodalRec，通过门控多模态图学习实现个性化推荐。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推荐 图神经网络 门控机制 LightGCN 个性化推荐 协同过滤 物品编码

📋 核心要点

  1. 现有推荐方法难以有效融合异构模态信息，且常依赖固定融合策略或复杂架构，导致性能瓶颈。
  2. RLMultimodalRec采用门控融合模块动态平衡视觉和文本模态，并结合LightGCN捕获高阶协同信号。
  3. 实验表明，RLMultimodalRec在top-K推荐指标上显著优于现有方法，同时保持了可扩展性和可解释性。

📝 摘要（中文）

多模态推荐通过整合产品图像和文本描述等丰富的内容信息，已成为缓解协同过滤中冷启动和稀疏性问题的一种有前景的解决方案。然而，如何有效地将异构模态集成到统一的推荐框架中仍然是一个挑战。现有方法通常依赖于固定的融合策略或复杂的架构，这可能无法适应模态质量的变化，或者引入不必要的计算开销。本文提出RLMultimodalRec，一个轻量级和模块化的推荐框架，它结合了基于图的用户建模和自适应的多模态物品编码。该模型采用门控融合模块来动态平衡视觉和文本模态的贡献，从而实现细粒度和内容感知的物品表示。同时，一个两层LightGCN编码器通过在用户-物品交互图上传播嵌入来捕获高阶协同信号，而无需依赖非线性变换。我们在来自亚马逊产品领域的真实数据集上评估了我们的模型。实验结果表明，RLMultimodalRec始终优于几个有竞争力的基线，包括协同过滤、视觉感知和基于多模态GNN的方法。所提出的方法在保持可扩展性和可解释性的同时，在top-K推荐指标上取得了显著的改进，使其适用于实际部署。

🔬 方法详解

问题定义：论文旨在解决多模态推荐中，如何有效融合视觉和文本等异构模态信息，以提升推荐系统性能的问题。现有方法的痛点在于，要么采用固定的融合策略，无法适应不同模态质量的变化；要么采用复杂的模型结构，引入了不必要的计算开销，限制了模型的可扩展性。

核心思路：论文的核心思路是设计一个轻量级且模块化的推荐框架，通过门控机制自适应地融合不同模态的信息，并利用图神经网络捕获用户-物品交互关系中的高阶协同信号。这种设计旨在平衡模型性能、计算效率和可解释性。

技术框架：RLMultimodalRec框架主要包含两个核心模块：门控多模态物品编码器和LightGCN用户建模器。首先，门控多模态物品编码器利用门控机制动态调整视觉和文本模态的权重，生成内容感知的物品表示。然后，LightGCN用户建模器通过在用户-物品交互图上传播嵌入信息，捕获高阶协同信号。最后，利用用户和物品的嵌入向量进行推荐预测。

关键创新：该论文的关键创新在于提出了门控融合模块，能够根据物品的内容自适应地调整不同模态的贡献。与传统的固定融合策略相比，门控融合模块能够更好地适应不同模态质量的变化，从而提升推荐性能。此外，采用LightGCN作为用户建模器，避免了非线性变换带来的计算开销，提高了模型的可扩展性。

关键设计：门控融合模块使用sigmoid函数生成门控权重，用于控制视觉和文本模态的贡献。LightGCN采用两层结构，以平衡模型复杂度和性能。损失函数采用BPR损失，用于优化用户对正样本的偏好高于负样本。具体参数设置（如嵌入维度、学习率等）在实验部分进行了详细描述和调优。

📊 实验亮点

实验结果表明，RLMultimodalRec在亚马逊产品数据集上显著优于多个基线模型，包括协同过滤、视觉感知和基于多模态GNN的方法。具体而言，在top-K推荐指标上，RLMultimodalRec取得了显著的提升，证明了其在多模态推荐方面的有效性。同时，该模型保持了良好的可扩展性和可解释性。

🎯 应用场景

该研究成果可应用于电商、社交媒体、在线视频等多种推荐场景，尤其适用于商品或内容具有丰富视觉和文本信息的平台。通过更有效地利用多模态信息，可以提升推荐系统的准确性和用户体验，缓解冷启动问题，并为用户发现更符合其兴趣的商品或内容。

📄 摘要（原文）

Multimodal recommendation has emerged as a promising solution to alleviate the cold-start and sparsity problems in collaborative filtering by incorporating rich content information, such as product images and textual descriptions. However, effectively integrating heterogeneous modalities into a unified recommendation framework remains a challenge. Existing approaches often rely on fixed fusion strategies or complex architectures , which may fail to adapt to modality quality variance or introduce unnecessary computational overhead. In this work, we propose RLMultimodalRec, a lightweight and modular recommendation framework that combines graph-based user modeling with adaptive multimodal item encoding. The model employs a gated fusion module to dynamically balance the contribution of visual and textual modalities, enabling fine-grained and content-aware item representations. Meanwhile, a two-layer LightGCN encoder captures high-order collaborative signals by propagating embeddings over the user-item interaction graph without relying on nonlinear transformations. We evaluate our model on a real-world dataset from the Amazon product domain. Experimental results demonstrate that RLMultimodalRec consistently outperforms several competitive baselines, including collaborative filtering, visual-aware, and multimodal GNN-based methods. The proposed approach achieves significant improvements in top-K recommendation metrics while maintaining scalability and interpretability, making it suitable for practical deployment.