E-MMKGR: A Unified Multimodal Knowledge Graph Framework for E-commerce Applications

📄 arXiv: 2602.20877v1 📥 PDF

作者: Jiwoo Kang, Yeon-Chang Lee

分类: cs.IR, cs.AI

发布日期: 2026-02-24

💡 一句话要点

提出E-MMKGR：一个用于电商应用的统一多模态知识图谱框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推荐系统 知识图谱 图神经网络 电商应用 商品表示学习

📋 核心要点

  1. 现有MMRS依赖固定模态和特定任务目标，限制了模态扩展和任务泛化能力。
  2. E-MMKGR构建电商多模态知识图谱，通过GNN传播和KG优化学习统一商品表示。
  3. 实验表明，E-MMKGR在推荐和搜索任务上均有显著提升，验证了其有效性。

📝 摘要（中文）

多模态推荐系统（MMRSs）通过利用商品侧的多模态信息来增强协同过滤，但它们对固定模态集合和特定任务目标的依赖限制了模态的可扩展性和任务的泛化性。我们提出了E-MMKGR，一个构建电商领域多模态知识图谱E-MMKG的框架，并通过基于GNN的传播和面向KG的优化来学习统一的商品表示。这些表示提供了一个适用于各种任务的共享语义基础。在真实Amazon数据集上的实验表明，推荐任务的Recall@10指标提升高达10.18%，产品搜索任务的基于向量检索的性能提升高达21.72%，证明了我们方法的有效性和可扩展性。

🔬 方法详解

问题定义：现有的多模态推荐系统通常依赖于预定义的、固定的模态集合，并且针对特定任务进行优化。这导致了两个主要问题：一是模态扩展性差，难以灵活地加入新的模态信息；二是任务泛化能力弱，难以将学到的知识迁移到其他相关任务上。因此，需要一种能够统一处理多种模态信息，并为不同任务提供共享语义基础的框架。

核心思路：E-MMKGR的核心思路是构建一个电商领域的多模态知识图谱（E-MMKG），并将商品的不同模态信息整合到这个图谱中。然后，利用图神经网络（GNN）在这个图谱上进行信息传播，从而学习到融合了多种模态信息的统一商品表示。此外，还通过面向知识图谱的优化方法，进一步提升商品表示的质量。

技术框架：E-MMKGR框架主要包含两个阶段：一是E-MMKG的构建阶段，该阶段将电商领域的商品信息（包括文本描述、图像、用户评论等）以及它们之间的关系构建成一个知识图谱；二是商品表示学习阶段，该阶段利用GNN在E-MMKG上进行信息传播，并结合知识图谱的结构信息进行优化，最终得到统一的商品表示。这些表示可以用于各种下游任务，如推荐、搜索等。

关键创新：E-MMKGR的关键创新在于它将多模态信息整合到知识图谱中，并利用GNN进行信息传播。与传统的MMRS相比，E-MMKGR能够更有效地融合不同模态的信息，并且能够利用知识图谱的结构信息来提升商品表示的质量。此外，E-MMKGR还能够为不同的任务提供共享的语义基础，从而提高任务的泛化能力。

关键设计：E-MMKG的构建需要仔细设计实体和关系的类型，以充分表达电商领域的信息。GNN的选择也很重要，需要选择能够有效处理异构图的GNN模型。此外，损失函数的设计也需要考虑知识图谱的结构信息，例如可以使用TransE等知识图谱嵌入方法来指导GNN的训练。具体的参数设置需要根据数据集进行调整，例如GNN的层数、学习率等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，E-MMKGR在Amazon数据集上取得了显著的性能提升。在推荐任务中，E-MMKGR的Recall@10指标比基线模型提升了高达10.18%。在产品搜索任务中，E-MMKGR的基于向量检索的性能比基线模型提升了高达21.72%。这些结果证明了E-MMKGR框架的有效性和优越性。

🎯 应用场景

E-MMKGR框架具有广泛的应用前景。它可以应用于电商推荐系统，提升推荐的准确性和多样性；可以应用于产品搜索，提高搜索结果的相关性；还可以应用于商品知识问答，为用户提供更全面的商品信息。此外，该框架还可以扩展到其他领域，如社交媒体、在线教育等，为这些领域的多模态信息处理提供新的思路。

📄 摘要（原文）

Multimodal recommender systems (MMRSs) enhance collaborative filtering by leveraging item-side modalities, but their reliance on a fixed set of modalities and task-specific objectives limits both modality extensibility and task generalization. We propose E-MMKGR, a framework that constructs an e-commerce-specific Multimodal Knowledge Graph E-MMKG and learns unified item representations through GNN-based propagation and KG-oriented optimization. These representations provide a shared semantic foundation applicable to diverse tasks. Experiments on real-world Amazon datasets show improvements of up to 10.18% in Recall@10 for recommendation and up to 21.72% over vector-based retrieval for product search, demonstrating the effectiveness and extensibility of our approach.