Diffusion-based Hierarchical Negative Sampling for Multimodal Knowledge Graph Completion

📄 arXiv: 2501.15393v1 📥 PDF

作者: Guanglin Niu, Xiaowei Zhang

分类: cs.AI, cs.CL

发布日期: 2025-01-26

备注: The version of a full paper accepted to DASFAA 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于扩散模型的层级负采样方法，提升多模态知识图谱补全效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态知识图谱补全 负采样 扩散模型 层级嵌入生成 自适应训练

📋 核心要点

  1. 现有MMKGC方法忽略了多模态信息在负采样中的应用，导致生成的负样本质量不高，限制了模型性能。
  2. 论文提出DHNS框架，利用扩散模型生成高质量、多样化的负样本，并结合自适应训练策略，提升模型区分正负样本的能力。
  3. 实验结果表明，DHNS在三个MMKGC基准数据集上优于现有方法，验证了其在MMKGC任务中的有效性。

📝 摘要（中文）

多模态知识图谱补全(MMKGC)旨在解决多模态知识图谱(MMKG)中知识缺失的关键问题，以促进其更好的应用。然而，以往的MMKGC和负采样(NS)方法都忽略了利用多模态信息从不同语义级别和难度级别生成多样化和高质量的负三元组，从而限制了MMKGC模型训练的有效性。因此，我们提出了一种新颖的基于扩散模型的层级负采样(DHNS)方案，专门为MMKGC任务设计，通过利用基于扩散模型的层级嵌入生成(DiffHEG)来逐步调节实体和关系以及多模态语义，从而应对生成高质量负三元组的挑战。此外，我们开发了一种负三元组自适应训练(NTAT)策略，该策略动态调整与合成负三元组的难度级别相关的训练边距，从而促进更稳健和有效的学习过程，以区分正三元组和负三元组。在三个MMKGC基准数据集上的大量实验表明，我们的框架优于几种最先进的MMKGC模型和负采样技术，证明了我们的DHNS在训练MMKGC模型方面的有效性。本文的源代码和数据集可在https://github.com/ngl567/DHNS获取。

🔬 方法详解

问题定义：论文旨在解决多模态知识图谱补全（MMKGC）任务中，由于负采样策略的不足而导致的模型训练效果不佳的问题。现有的MMKGC方法和负采样策略未能充分利用多模态信息，无法生成多样且高质量的负三元组，从而限制了模型区分正负样本的能力。

核心思路：论文的核心思路是利用扩散模型生成高质量的负样本。通过扩散模型，可以逐步地、可控地生成负样本，并且可以利用多模态信息来指导生成过程，从而生成更具挑战性和信息量的负样本。此外，论文还提出了自适应训练策略，根据负样本的难度动态调整训练边距，进一步提升模型的训练效果。

技术框架：DHNS框架主要包含两个模块：基于扩散模型的层级嵌入生成(DiffHEG)和负三元组自适应训练(NTAT)。DiffHEG模块利用扩散模型，以实体和关系以及多模态语义为条件，逐步生成负样本的嵌入表示。NTAT模块则根据生成的负样本的难度，动态调整训练边距，使得模型能够更好地学习区分正负样本。整体流程是，首先利用DiffHEG生成负样本，然后利用NTAT进行模型训练。

关键创新：论文最重要的技术创新点在于将扩散模型引入到负采样过程中。与传统的负采样方法相比，扩散模型能够生成更高质量、更多样化的负样本，并且可以有效地利用多模态信息。此外，NTAT策略也是一个创新点，它能够根据负样本的难度动态调整训练边距，从而提升模型的训练效果。

关键设计：DiffHEG模块的关键设计在于如何将多模态信息融入到扩散模型的生成过程中。论文采用了一种层级的方式，逐步地将实体、关系和多模态语义融入到生成过程中。NTAT模块的关键设计在于如何衡量负样本的难度，以及如何根据难度动态调整训练边距。论文采用了一种基于模型预测置信度的难度衡量方法，并设计了一种基于难度级别的训练边距调整策略。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，DHNS在三个MMKGC基准数据集上均取得了显著的性能提升。例如，在某数据集上，DHNS相比于最先进的基线模型，在Hits@1指标上提升了超过5个百分点，证明了DHNS在生成高质量负样本和提升MMKGC模型性能方面的有效性。

🎯 应用场景

该研究成果可应用于各种需要知识图谱补全的场景，例如智能问答、推荐系统、信息检索等。通过提升知识图谱的完整性和准确性，可以提高这些应用的性能和用户体验。未来，该方法可以进一步扩展到其他类型的知识图谱和多模态数据，具有广阔的应用前景。

📄 摘要（原文）

Multimodal Knowledge Graph Completion (MMKGC) aims to address the critical issue of missing knowledge in multimodal knowledge graphs (MMKGs) for their better applications. However, both the previous MMGKC and negative sampling (NS) approaches ignore the employment of multimodal information to generate diverse and high-quality negative triples from various semantic levels and hardness levels, thereby limiting the effectiveness of training MMKGC models. Thus, we propose a novel Diffusion-based Hierarchical Negative Sampling (DHNS) scheme tailored for MMKGC tasks, which tackles the challenge of generating high-quality negative triples by leveraging a Diffusion-based Hierarchical Embedding Generation (DiffHEG) that progressively conditions on entities and relations as well as multimodal semantics. Furthermore, we develop a Negative Triple-Adaptive Training (NTAT) strategy that dynamically adjusts training margins associated with the hardness level of the synthesized negative triples, facilitating a more robust and effective learning procedure to distinguish between positive and negative triples. Extensive experiments on three MMKGC benchmark datasets demonstrate that our framework outperforms several state-of-the-art MMKGC models and negative sampling techniques, illustrating the effectiveness of our DHNS for training MMKGC models. The source codes and datasets of this paper are available at https://github.com/ngl567/DHNS.