Hawkes based Representation Learning for Reasoning over Scale-free Community-structured Temporal Knowledge Graphs

📄 arXiv: 2501.01974v1 📥 PDF

作者: Yuwei Du, Xinyue Liu, Wenxin Liang, Linlin Zong, Xianchao Zhang

分类: cs.SI, cs.AI, cs.LG

发布日期: 2024-12-28

💡 一句话要点

提出HERLN模型，利用Hawkes过程解决时序知识图谱推理中结构与演化建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 时序知识图谱 知识图谱推理 Hawkes过程 图卷积网络 社区发现 长尾分布 表示学习

📋 核心要点

  1. 现有TKG推理方法忽略了现实世界网络的社区结构、无尺度特性以及事件影响随时间衰减的特性。
  2. HERLN模型利用Hawkes过程建模事件影响的时间衰减，并结合社区发现和条件解码来提升推理性能。
  3. 实验结果表明，HERLN在TKG推理任务上显著优于现有最先进的模型，验证了其有效性。

📝 摘要（中文）

时序知识图谱(TKG)推理因其在许多实际任务中的巨大价值而成为一个热门话题。TKG推理的关键是建模TKG的结构信息和演化模式。虽然在TKG推理方面已经投入了大量的精力，但现实世界网络的结构和演化特征尚未被充分考虑。在结构方面，现实世界的网络通常表现出清晰的社区结构和无尺度（长尾分布）特性。在演化方面，事件的影响随着时间的推移而衰减。本文提出了一种新的TKG推理模型，称为基于Hawkes过程的演化表征学习网络(HERLN)，该模型同时学习TKG的结构信息和演化模式，并考虑了现实世界网络的特征：社区结构、无尺度性和时间衰减。首先，我们在输入的TKG中找到社区，使编码获得更相似的社区内嵌入。其次，我们设计了一个基于Hawkes过程的关系图卷积网络来处理事件影响衰减现象。第三，我们设计了一种条件解码方法，以减轻由长尾分布引起的对频繁实体的偏差。实验结果表明，HERLN优于目前最先进的模型。

🔬 方法详解

问题定义：现有的时序知识图谱推理方法未能充分考虑现实世界网络的结构特性（如社区结构和无尺度分布）以及事件影响随时间衰减的特性。这导致模型无法准确捕捉知识图谱的演化模式，从而影响推理性能。特别是长尾分布导致模型偏向于频繁出现的实体，降低了对罕见实体的推理能力。

核心思路：HERLN模型的核心思路是同时建模时序知识图谱的结构信息和演化模式，并显式地考虑现实世界网络的社区结构、无尺度特性和时间衰减特性。通过社区发现增强实体表示，利用Hawkes过程建模事件影响的时间衰减，并采用条件解码缓解长尾分布带来的偏差。

技术框架：HERLN模型包含三个主要模块：1) 社区发现模块，用于识别知识图谱中的社区结构；2) 基于Hawkes过程的关系图卷积网络（RGCN）模块，用于学习实体和关系的动态表示，并建模事件影响的时间衰减；3) 条件解码模块，用于缓解长尾分布带来的偏差，提高对罕见实体的推理能力。整体流程是先进行社区发现，然后利用Hawkes过程RGCN学习实体和关系的表示，最后使用条件解码进行推理。

关键创新：HERLN的关键创新在于：1) 将Hawkes过程引入到关系图卷积网络中，用于建模事件影响的时间衰减；2) 结合社区发现，增强实体表示，提高社区内部实体之间的相似性；3) 设计了一种条件解码方法，缓解长尾分布带来的偏差。与现有方法相比，HERLN更全面地考虑了现实世界网络的特性，能够更准确地捕捉知识图谱的演化模式。

关键设计：Hawkes过程RGCN模块使用Hawkes过程来建模事件的影响强度，影响强度随时间衰减。社区发现模块使用例如Louvain算法等社区发现算法。条件解码模块使用一个条件概率分布来调整预测结果，以减轻对频繁实体的偏好。损失函数包括链接预测损失和正则化项，用于优化模型参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HERLN模型在多个基准数据集上显著优于现有最先进的模型。例如，在ICEWS14数据集上，HERLN的MRR指标提升了超过5%，验证了其有效性。消融实验表明，Hawkes过程建模、社区发现和条件解码都对性能提升有贡献。

🎯 应用场景

该研究成果可应用于多种时序知识图谱推理任务，例如事件预测、关系预测和实体补全。在实际应用中，可以用于推荐系统、金融风险预测、医疗诊断等领域，提升相关任务的准确性和可靠性。未来的研究可以进一步探索更复杂的时序演化模式，并将其应用于更大规模的知识图谱。

📄 摘要（原文）

Temporal knowledge graph (TKG) reasoning has become a hot topic due to its great value in many practical tasks. The key to TKG reasoning is modeling the structural information and evolutional patterns of the TKGs. While great efforts have been devoted to TKG reasoning, the structural and evolutional characteristics of real-world networks have not been considered. In the aspect of structure, real-world networks usually exhibit clear community structure and scale-free (long-tailed distribution) properties. In the aspect of evolution, the impact of an event decays with the time elapsing. In this paper, we propose a novel TKG reasoning model called Hawkes process-based Evolutional Representation Learning Network (HERLN), which learns structural information and evolutional patterns of a TKG simultaneously, considering the characteristics of real-world networks: community structure, scale-free and temporal decaying. First, we find communities in the input TKG to make the encoding get more similar intra-community embeddings. Second, we design a Hawkes process-based relational graph convolutional network to cope with the event impact-decaying phenomenon. Third, we design a conditional decoding method to alleviate biases towards frequent entities caused by long-tailed distribution. Experimental results show that HERLN achieves significant improvements over the state-of-the-art models.