GenTKG: Generative Forecasting on Temporal Knowledge Graph with Large Language Models

📄 arXiv: 2310.07793v5 📥 PDF

作者: Ruotong Liao, Xu Jia, Yangzhe Li, Yunpu Ma, Volker Tresp

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-10-11 (更新: 2024-04-16)

备注: 14 pages, Findings of NAACL 2024, Spotlight on TGL@NeurIPS2023

🔗 代码/项目: GITHUB

💡 一句话要点

提出GenTKG以解决时序知识图谱预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时序知识图谱 生成模型 少量样本学习 检索增强生成 跨领域泛化

📋 核心要点

  1. 现有的时序知识图谱预测方法主要依赖嵌入和规则，难以处理复杂的时序图数据结构与自然语言表达之间的差距。
  2. 论文提出的GenTKG框架结合了检索策略和少量样本的指令调优，旨在有效解决时序知识预测中的计算成本和数据稀缺问题。
  3. 实验结果显示，GenTKG在仅使用16个样本的情况下，显著超越了传统预测方法，并在不同领域的数据集上展现了良好的泛化能力。

📝 摘要（中文）

随着大语言模型（LLMs）的快速发展，时序知识图谱（tKG）领域引起了广泛关注。传统的嵌入式和基于规则的方法占据主导地位，但尚不清楚预训练的LLMs是否能够理解结构化的时序关系数据并取而代之。为此，本文将时序知识预测引入生成设置，提出了一种名为GenTKG的新型检索增强生成框架，结合了时序逻辑规则的检索策略和少量参数高效的指令调优。实验表明，GenTKG在极少的训练数据下（仅16个样本）以低计算资源超越了传统方法，并在未见数据集上表现出显著的跨领域泛化能力。

🔬 方法详解

问题定义：本文旨在解决时序知识图谱（tKG）预测中的数据结构复杂性与计算资源消耗问题。现有方法在处理时序关系数据时，往往面临理解能力不足和计算成本高的问题。

核心思路：GenTKG框架通过结合检索增强生成和少量样本的指令调优，旨在降低对计算资源的需求，同时提高对复杂时序数据的理解能力。这样的设计使得模型能够在有限的数据下进行有效学习。

技术框架：GenTKG的整体架构包括两个主要模块：一是基于时序逻辑规则的检索模块，用于提取相关信息；二是生成模块，通过少量样本进行指令调优，生成准确的预测结果。

关键创新：GenTKG的创新之处在于将检索策略与生成模型相结合，克服了传统方法在处理时序知识图谱时的局限性，尤其是在数据稀缺和计算资源受限的情况下。

关键设计：在模型设计中，采用了少量样本学习的策略，优化了损失函数以适应时序数据的特点，确保生成结果的准确性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，GenTKG在仅使用16个样本的情况下，成功超越了传统的时序关系预测方法，展现出显著的性能提升。具体而言，模型在未见数据集上的表现优于基线方法，显示出强大的跨领域泛化能力。

🎯 应用场景

GenTKG的研究成果在多个领域具有广泛的应用潜力，包括智能推荐系统、事件预测、社交网络分析等。通过提高时序知识图谱的预测能力，能够为决策支持系统提供更为精准的数据分析和预测，从而提升业务效率和决策质量。

📄 摘要（原文）

The rapid advancements in large language models (LLMs) have ignited interest in the temporal knowledge graph (tKG) domain, where conventional embedding-based and rule-based methods dominate. The question remains open of whether pre-trained LLMs can understand structured temporal relational data and replace them as the foundation model for temporal relational forecasting. Therefore, we bring temporal knowledge forecasting into the generative setting. However, challenges occur in the huge chasms between complex temporal graph data structure and sequential natural expressions LLMs can handle, and between the enormous data sizes of tKGs and heavy computation costs of finetuning LLMs. To address these challenges, we propose a novel retrieval-augmented generation framework named GenTKG combining a temporal logical rule-based retrieval strategy and few-shot parameter-efficient instruction tuning to solve the above challenges, respectively. Extensive experiments have shown that GenTKG outperforms conventional methods of temporal relational forecasting with low computation resources using extremely limited training data as few as 16 samples. GenTKG also highlights remarkable cross-domain generalizability with outperforming performance on unseen datasets without re-training, and in-domain generalizability regardless of time split in the same dataset. Our work reveals the huge potential of LLMs in the tKG domain and opens a new frontier for generative forecasting on tKGs. Code and data are released here: https://github.com/mayhugotong/GenTKG.