Learning Granularity Representation for Temporal Knowledge Graph Completion

📄 arXiv: 2408.15293v1 📥 PDF

作者: Jinchuan Zhang, Tianqi Wan, Chong Mu, Guangxi Lu, Ling Tian

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-08-27

备注: 15 pages. Accepted at ICONIP 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出LGRe模型，利用多粒度时间表示增强时序知识图谱补全

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时序知识图谱 知识图谱补全 时间表示学习 多粒度学习 卷积神经网络

📋 核心要点

  1. 现有时序知识图谱补全方法忽略了历史信息的多粒度影响，未能充分利用时间粒度的语义信息。
  2. LGRe模型通过粒度表示学习(GRL)和自适应粒度平衡(AGB)来学习时间相关的表示，从而进行TKG补全。
  3. 实验结果表明，LGRe在四个事件基准数据集上表现出色，证明了其学习时间相关表示的有效性。

📝 摘要（中文）

时序知识图谱(TKGs)融合了时间信息，反映了现实世界事实的动态结构知识和演化模式。然而，由于不完整性问题，TKGs在下游应用中仍然受到限制。因此，TKG补全(也称为链接预测)得到了广泛的研究，最近的研究主要集中在结合时间信息的独立嵌入或将其与实体和关系结合，以形成时间表示。然而，大多数现有方法忽略了从多粒度角度的历史影响。人类定义的时间粒度(如顺序日期)的内在语义揭示了事实通常遵循的一般模式。为了克服这一限制，本文提出了一种用于TKG补全的粒度表示学习(LGRe)模型。它包含两个主要组成部分:粒度表示学习(GRL)和自适应粒度平衡(AGB)。具体来说，GRL采用特定于时间的多层卷积神经网络来捕获实体和关系在不同粒度上的交互。之后，AGB根据时间语义为这些嵌入生成自适应权重，从而产生富有表现力的预测表示。此外，为了反映相邻时间戳的相似语义，引入了时间损失函数。在四个事件基准上的大量实验结果证明了LGRe在学习时间相关表示方面的有效性。

🔬 方法详解

问题定义：时序知识图谱补全旨在预测知识图谱中缺失的三元组(头实体，关系，尾实体，时间)。现有方法的痛点在于，它们通常独立地处理时间信息，或者简单地将时间信息与实体和关系嵌入结合，忽略了时间粒度的重要性以及历史信息的多粒度影响。这些方法无法捕捉到不同时间粒度下实体和关系之间的复杂交互模式，从而限制了预测的准确性。

核心思路：论文的核心思路是利用多粒度的时间表示来增强时序知识图谱补全。通过学习不同时间粒度下的实体和关系表示，并自适应地平衡这些表示，模型可以更好地捕捉到时间相关的语义信息。这种方法能够充分利用人类定义的时间粒度（如年、月、日）所蕴含的先验知识，从而提高预测的准确性。

技术框架：LGRe模型主要包含两个模块：粒度表示学习(GRL)和自适应粒度平衡(AGB)。首先，GRL模块使用时间特定的多层卷积神经网络来学习不同时间粒度下的实体和关系表示。然后，AGB模块根据时间语义为这些表示生成自适应权重，从而得到最终的预测表示。此外，模型还引入了一个时间损失函数，以鼓励相邻时间戳的表示具有相似的语义。

关键创新：LGRe的关键创新在于其多粒度时间表示学习方法。与现有方法不同，LGRe能够同时考虑多个时间粒度下的信息，并自适应地平衡这些信息。这种方法能够更好地捕捉到时间相关的语义信息，从而提高预测的准确性。此外，时间损失函数的引入也进一步增强了模型对时间信息的建模能力。

关键设计：GRL模块使用多层卷积神经网络来学习不同时间粒度下的实体和关系表示。卷积核的大小和数量可以根据具体任务进行调整。AGB模块使用一个注意力机制来为不同的时间粒度表示生成自适应权重。时间损失函数采用余弦相似度来衡量相邻时间戳表示的相似性。具体而言，损失函数鼓励相邻时间戳的表示具有较高的余弦相似度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LGRe模型在四个公开的时序知识图谱补全数据集上进行了实验，包括ICEWS14, ICEWS18, GDELT和WIKI。实验结果表明，LGRe在所有数据集上都取得了显著的性能提升，尤其是在MRR和Hits@N指标上。例如，在ICEWS18数据集上，LGRe相比于现有最佳模型在MRR指标上提升了超过5%。这些结果证明了LGRe在学习时间相关表示方面的有效性。

🎯 应用场景

该研究成果可应用于多种需要理解和预测时间相关事件的领域，例如：金融风险预测、供应链管理、医疗诊断、新闻事件演化分析等。通过更准确地预测未来事件，可以帮助决策者做出更明智的决策，提高效率并降低风险。此外，该研究还可以促进时序知识图谱的构建和应用，为人工智能领域的发展做出贡献。

📄 摘要（原文）

Temporal Knowledge Graphs (TKGs) incorporate temporal information to reflect the dynamic structural knowledge and evolutionary patterns of real-world facts. Nevertheless, TKGs are still limited in downstream applications due to the problem of incompleteness. Consequently, TKG completion (also known as link prediction) has been widely studied, with recent research focusing on incorporating independent embeddings of time or combining them with entities and relations to form temporal representations. However, most existing methods overlook the impact of history from a multi-granularity aspect. The inherent semantics of human-defined temporal granularities, such as ordinal dates, reveal general patterns to which facts typically adhere. To counter this limitation, this paper proposes \textbf{L}earning \textbf{G}ranularity \textbf{Re}presentation (termed $\mathsf{LGRe}$) for TKG completion. It comprises two main components: Granularity Representation Learning (GRL) and Adaptive Granularity Balancing (AGB). Specifically, GRL employs time-specific multi-layer convolutional neural networks to capture interactions between entities and relations at different granularities. After that, AGB generates adaptive weights for these embeddings according to temporal semantics, resulting in expressive representations of predictions. Moreover, to reflect similar semantics of adjacent timestamps, a temporal loss function is introduced. Extensive experimental results on four event benchmarks demonstrate the effectiveness of $\mathsf{LGRe}$ in learning time-related representations. To ensure reproducibility, our code is available at https://github.com/KcAcoZhang/LGRe.