DECRL: A Deep Evolutionary Clustering Jointed Temporal Knowledge Graph Representation Learning Approach

📄 arXiv: 2410.22631v2 📥 PDF

作者: Qian Chen, Ling Chen

分类: cs.LG, cs.AI

发布日期: 2024-10-30 (更新: 2024-12-19)

备注: Accepted by NeurIPS 2024, 17 pages, and 3 figures

💡 一句话要点

DECRL：一种深度演化聚类联合时序知识图谱表示学习方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时序知识图谱 表示学习 深度学习 演化聚类 高阶相关性

📋 核心要点

  1. 现有时序知识图谱表示学习方法难以捕捉高阶相关性的时间演化，限制了模型性能。
  2. DECRL通过深度演化聚类模块捕捉实体间高阶相关性的时间演化，并引入聚类对齐机制保持时间平滑性。
  3. 实验结果表明，DECRL在多个数据集上显著优于现有方法，各项指标平均提升超过10%。

📝 摘要（中文）

时序知识图谱(TKG)表示学习旨在将时序演化的实体和关系映射到连续低维向量空间中的嵌入表示。然而，现有方法无法捕捉TKG中高阶相关性的时间演化。为此，我们提出了一种深度演化聚类联合时序知识图谱表示学习方法(DECRL)。具体来说，我们提出了一个深度演化聚类模块来捕捉实体之间高阶相关性的时间演化。此外，引入了一种感知聚类的无监督对齐机制，以确保跨时间戳的软重叠聚类的精确一对一对齐，从而保持聚类的时间平滑性。此外，引入了一个隐式相关编码器，以在全局图的指导下捕获任意一对聚类之间的潜在相关性。在七个真实世界数据集上的大量实验表明，DECRL实现了最先进的性能，在MRR、Hits@1、Hits@3和Hits@10方面，分别比最佳基线平均高出9.53%、12.98%、10.42%和14.68%。

🔬 方法详解

问题定义：现有的时序知识图谱表示学习方法主要关注实体和关系的直接关系建模，忽略了实体之间高阶相关性随时间的演化。这种忽略导致模型无法充分捕捉时序知识图谱的动态特性，从而影响了链接预测等下游任务的性能。现有方法缺乏有效机制来保持聚类结果在时间上的平滑性，容易出现聚类结果突变的问题。

核心思路：DECRL的核心思路是通过深度演化聚类来捕捉实体之间高阶相关性的时间演化。具体来说，将实体聚类成不同的簇，并跟踪这些簇在不同时间戳上的演化过程。通过这种方式，模型可以学习到实体之间更复杂、更动态的关系。同时，引入聚类对齐机制，确保相邻时间戳上的聚类结果尽可能一致，从而保持时间平滑性。

技术框架：DECRL的整体框架包含三个主要模块：深度演化聚类模块、聚类感知无监督对齐模块和隐式相关编码器。深度演化聚类模块负责将实体聚类成不同的簇，并跟踪这些簇在不同时间戳上的演化过程。聚类感知无监督对齐模块负责确保相邻时间戳上的聚类结果尽可能一致。隐式相关编码器负责捕获任意一对聚类之间的潜在相关性，从而进一步提升模型的性能。

关键创新：DECRL的关键创新在于：1) 提出了深度演化聚类模块，能够有效捕捉实体之间高阶相关性的时间演化；2) 引入了聚类感知无监督对齐机制，能够有效保持聚类结果在时间上的平滑性；3) 提出了隐式相关编码器，能够捕获任意一对聚类之间的潜在相关性。与现有方法相比，DECRL能够更全面、更准确地捕捉时序知识图谱的动态特性。

关键设计：深度演化聚类模块采用深度神经网络来实现，网络的结构和参数需要根据具体的数据集进行调整。聚类感知无监督对齐机制采用最优传输算法来实现，需要选择合适的距离度量和正则化参数。隐式相关编码器采用图神经网络来实现，需要设计合适的图结构和消息传递机制。损失函数由三部分组成：聚类损失、对齐损失和相关性损失。这些损失函数的权重需要根据具体的数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DECRL在七个真实世界数据集上进行了广泛的实验，结果表明DECRL显著优于现有的时序知识图谱表示学习方法。具体来说，DECRL在MRR、Hits@1、Hits@3和Hits@10指标上分别比最佳基线平均高出9.53%、12.98%、10.42%和14.68%。这些结果表明，DECRL能够有效捕捉实体之间高阶相关性的时间演化，并提升时序知识图谱表示学习的性能。

🎯 应用场景

DECRL可应用于多种时序知识图谱相关的任务，如时序链接预测、事件预测、动态推荐系统等。通过捕捉实体间高阶相关性的时间演化，DECRL能够提升这些任务的性能。例如，在金融领域，DECRL可以用于预测公司之间的关联变化；在医疗领域，可以用于预测疾病之间的传播路径。

📄 摘要（原文）

Temporal Knowledge Graph (TKG) representation learning aims to map temporal evolving entities and relations to embedded representations in a continuous low-dimensional vector space. However, existing approaches cannot capture the temporal evolution of high-order correlations in TKGs. To this end, we propose a Deep Evolutionary Clustering jointed temporal knowledge graph Representation Learning approach (DECRL). Specifically, a deep evolutionary clustering module is proposed to capture the temporal evolution of high-order correlations among entities. Furthermore, a cluster-aware unsupervised alignment mechanism is introduced to ensure the precise one-to-one alignment of soft overlapping clusters across timestamps, thereby maintaining the temporal smoothness of clusters. In addition, an implicit correlation encoder is introduced to capture latent correlations between any pair of clusters under the guidance of a global graph. Extensive experiments on seven real-world datasets demonstrate that DECRL achieves the state-of-the-art performances, outperforming the best baseline by an average of 9.53%, 12.98%, 10.42%, and 14.68% in MRR, Hits@1, Hits@3, and Hits@10, respectively.