G2S: A General-to-Specific Learning Framework for Temporal Knowledge Graph Forecasting with Large Language Models

📄 arXiv: 2506.00445v1 📥 PDF

作者: Long Bai, Zixuan Li, Xiaolong Jin, Jiafeng Guo, Xueqi Cheng, Tat-Seng Chua

分类: cs.CL

发布日期: 2025-05-31

备注: Findings of ACL 2025

💡 一句话要点

提出G2S框架，解耦通用知识与场景信息，提升LLM在时序知识图谱预测中的泛化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时序知识图谱 知识图谱预测 大型语言模型 泛化能力 通用到特定学习

📋 核心要点

  1. 现有方法在时序知识图谱预测中同时学习通用模式和场景信息，导致知识学习相互干扰，影响泛化能力。
  2. G2S框架通过通用学习和特定学习两个阶段，解耦通用模式和场景信息的学习过程，提升模型泛化性。
  3. 实验结果表明，G2S框架能有效提升LLM在时序知识图谱预测任务上的泛化能力。

📝 摘要（中文）

时序知识图谱（TKG）预测旨在基于历史事实预测未来事实，受到了广泛关注。最近的研究引入了大型语言模型（LLM）来增强模型的泛化能力。然而，这些模型在进行预测时，同时学习TKG中两种纠缠的知识：（1）通用模式，即不同场景共享的不变时序结构；（2）场景信息，即特定场景中涉及的事实知识，如实体和关系。因此，这两种知识的学习过程可能会相互干扰，从而影响模型的泛化能力。为了增强LLM在该任务上的泛化能力，本文提出了一种通用到特定（General-to-Specific，G2S）的学习框架，该框架解耦了上述两种知识的学习过程。在通用学习阶段，我们屏蔽不同TKG中的场景信息，并将其转换为匿名时序结构。在这些结构上训练后，模型能够捕获不同TKG中的通用模式。在特定学习阶段，我们通过上下文学习或微调模式将场景信息注入到结构中。实验结果表明，G2S有效地提高了LLM的泛化能力。

🔬 方法详解

问题定义：论文旨在解决时序知识图谱预测任务中，大型语言模型（LLM）泛化能力不足的问题。现有方法同时学习通用时序模式和特定场景信息，导致两者相互干扰，限制了模型在未见过的场景中的表现。

核心思路：论文的核心思路是将通用时序模式的学习和特定场景信息的学习解耦。通过先学习通用的时序结构，再融入具体的场景信息，避免两种知识的相互干扰，从而提升模型的泛化能力。这种“由通用到特定”的学习方式，使得模型能够更好地适应新的场景。

技术框架：G2S框架包含两个主要阶段：通用学习阶段和特定学习阶段。在通用学习阶段，首先对不同的时序知识图谱进行匿名化处理，屏蔽实体和关系等场景信息，只保留时序结构。然后，利用LLM在这些匿名化的时序结构上进行训练，学习通用的时序模式。在特定学习阶段，将具体的场景信息注入到模型中，可以通过上下文学习或微调的方式实现。

关键创新：G2S框架的关键创新在于解耦了通用知识和场景信息的学习过程。与以往直接在原始时序知识图谱上进行学习的方法不同，G2S首先学习通用的时序模式，然后再融入具体的场景信息，从而避免了两种知识的相互干扰，提升了模型的泛化能力。

关键设计：在通用学习阶段，关键的设计在于如何有效地匿名化时序知识图谱，保留其时序结构，同时屏蔽场景信息。在特定学习阶段，可以选择使用上下文学习或微调的方式将场景信息注入到模型中。具体的参数设置、损失函数和网络结构的选择取决于所使用的LLM和具体的任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，G2S框架能够有效地提高LLM在时序知识图谱预测任务上的泛化能力。具体的性能提升数据和对比基线在论文中给出，证明了G2S框架的有效性。通过解耦通用知识和场景信息的学习过程，G2S框架在多个数据集上都取得了显著的性能提升。

🎯 应用场景

该研究成果可应用于多种需要时序知识图谱预测的领域，例如：供应链预测、金融风险评估、医疗诊断等。通过提升预测的准确性和泛化能力，可以帮助企业和机构更好地进行决策，降低风险，提高效率。未来，该方法可以进一步扩展到其他类型的知识图谱和预测任务中。

📄 摘要（原文）

Forecasting over Temporal Knowledge Graphs (TKGs) which predicts future facts based on historical ones has received much attention. Recent studies have introduced Large Language Models (LLMs) for this task to enhance the models' generalization abilities. However, these models perform forecasting via simultaneously learning two kinds of entangled knowledge in the TKG: (1) general patterns, i.e., invariant temporal structures shared across different scenarios; and (2) scenario information, i.e., factual knowledge engaged in specific scenario, such as entities and relations. As a result, the learning processes of these two kinds of knowledge may interfere with each other, which potentially impact the generalization abilities of the models. To enhance the generalization ability of LLMs on this task, in this paper, we propose a General-to-Specific learning framework (G2S) that disentangles the learning processes of the above two kinds of knowledge. In the general learning stage, we mask the scenario information in different TKGs and convert it into anonymous temporal structures. After training on these structures, the model is able to capture the general patterns across different TKGs. In the specific learning stage, we inject the scenario information into the structures via either in-context learning or fine-tuning modes. Experimental results show that G2S effectively improves the generalization abilities of LLMs.