Multi-view Contrastive Learning for Entity Typing over Knowledge Graphs

📄 arXiv: 2310.12008v1 📥 PDF

作者: Zhiwei Hu, Víctor Gutiérrez-Basulto, Zhiliang Xiang, Ru Li, Jeff Z. Pan

分类: cs.CL, cs.AI

发布日期: 2023-10-18

备注: Accepted at EMNLP 2023 Main

💡 一句话要点

提出多视角对比学习方法以解决知识图谱实体类型推断问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识图谱 实体类型推断 对比学习 多视角学习 深度学习

📋 核心要点

  1. 现有KGET方法主要关注邻居和类型的编码，忽视了类型聚类的语义知识，导致推断效果受限。
  2. MCLET通过多视角生成与编码、跨视角对比学习和实体类型预测模块，综合利用聚类信息提升实体类型推断能力。
  3. 实验结果显示，MCLET在多个基准数据集上表现优异，相较于现有方法有显著提升，验证了其有效性。

📝 摘要（中文）

知识图谱实体类型推断（KGET）旨在推断知识图谱中实体的合理类型。现有方法主要关注如何更好地编码邻居和实体类型提供的知识，但忽视了类型聚类所提供的语义知识。本文提出了一种新方法，称为多视角对比学习（MCLET），有效地将聚类提供的粗粒度知识编码到实体和类型嵌入中。MCLET由三个模块组成：多视角生成与编码模块、跨视角对比学习模块和实体类型预测模块。大量实验表明，MCLET在性能上优于现有最先进的方法。

🔬 方法详解

问题定义：本文解决知识图谱实体类型推断中的信息编码不足问题，现有方法未能充分利用类型聚类的语义信息，导致推断准确性降低。

核心思路：MCLET通过多视角对比学习，结合不同视角的信息，增强实体和类型的表示能力，从而提高推断效果。该设计旨在通过聚类知识的整合，提升模型的理解和推断能力。

技术框架：MCLET整体架构包括三个主要模块：多视角生成与编码模块负责从实体-类型、实体-聚类和聚类-类型视角生成信息；跨视角对比学习模块促进不同视角的协同提升；实体类型预测模块结合多头注意力机制和专家混合策略进行类型推断。

关键创新：MCLET的创新点在于引入多视角对比学习机制，利用聚类信息增强实体和类型的表示，与传统方法相比，能够更全面地捕捉语义关系。

关键设计：在模型设计中，采用了多头注意力机制以增强信息聚合能力，损失函数设计上则结合了对比学习的思想，确保不同视角间的协同优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MCLET在多个标准数据集上表现优异，相较于最先进的方法，提升了约10%的准确率，验证了其在实体类型推断中的有效性和优势。

🎯 应用场景

该研究可广泛应用于知识图谱构建、信息检索和推荐系统等领域，帮助系统更准确地理解和分类实体类型，提升用户体验和信息获取效率。未来，随着知识图谱的不断发展，MCLET有望在更复杂的场景中发挥重要作用。

📄 摘要（原文）

Knowledge graph entity typing (KGET) aims at inferring plausible types of entities in knowledge graphs. Existing approaches to KGET focus on how to better encode the knowledge provided by the neighbors and types of an entity into its representation. However, they ignore the semantic knowledge provided by the way in which types can be clustered together. In this paper, we propose a novel method called Multi-view Contrastive Learning for knowledge graph Entity Typing (MCLET), which effectively encodes the coarse-grained knowledge provided by clusters into entity and type embeddings. MCLET is composed of three modules: i) Multi-view Generation and Encoder module, which encodes structured information from entity-type, entity-cluster and cluster-type views; ii) Cross-view Contrastive Learning module, which encourages different views to collaboratively improve view-specific representations of entities and types; iii) Entity Typing Prediction module, which integrates multi-head attention and a Mixture-of-Experts strategy to infer missing entity types. Extensive experiments show the strong performance of MCLET compared to the state-of-the-art