KGPFN: Unlocking the Potential of Knowledge Graph Foundation Model via In-Context Learning

📄 arXiv: 2605.14907v1 📥 PDF

作者: Yisen Gao, Jiaxin Bai, Haoyu Huang, Zhongwei Xie, Yufei Li, Hong Ting Tsang, Sirui Han, Yangqiu Song

分类: cs.AI

发布日期: 2026-05-14

🔗 代码/项目: GITHUB

💡 一句话要点

提出KGPFN，通过上下文学习释放知识图谱基础模型的潜力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 基础模型 上下文学习 关系推理 图神经网络

📋 核心要点

  1. 现有知识图谱基础模型侧重关系层面的泛化，忽略了上下文学习在知识图谱推理中的潜力。
  2. KGPFN通过Prior-data Fitted Network，结合可迁移关系规则性和结构化上下文的上下文学习，提升推理能力。
  3. 实验结果表明，KGPFN在未见过的图谱上表现出强大的适应性，优于微调的知识图谱基础模型。

📝 摘要（中文）

知识图谱（KG）基础模型旨在通过学习可迁移的关系结构，泛化到具有未见实体和关系的图谱。然而，现有方法主要强调关系层面的通用性，而上下文学习（in-context learning），作为基础模型的另一支柱，在KG推理中仍未得到充分探索。在KG中，上下文本质上是结构化的和异构的：有效的预测需要以查询实体周围的局部上下文以及总结关系在许多实例中如何表现的全局上下文为条件。我们提出了KGPFN，一个使用Prior-data Fitted Network的KG基础模型，它将可迁移的关系规则性与来自结构化上下文的推理时上下文学习相结合。KGPFN首先通过在关系图上进行消息传递来学习关系表示，以捕获跨图关系不变性。对于特定于查询的推理，它使用多层NBFNet将局部邻域编码为局部上下文。为了实现全局范围的ICL，它通过检索查询关系的大量实例及其局部邻域来构建关系特定的全局上下文，并在Prior-Data Fitted Network框架内聚合它们，该框架结合了特征级别和样本级别的注意力。通过在不同的KG上进行多图预训练，KGPFN学习何时实例化可重用模式以及何时使用上下文证据覆盖它们。在57个KG基准上的实验表明，KGPFN仅通过上下文学习即可实现对先前未见图的强大适应，始终优于具有竞争力的微调KG基础模型。

🔬 方法详解

问题定义：现有知识图谱基础模型主要关注关系层面的通用性，缺乏对上下文信息的有效利用，尤其是在推理过程中，忽略了局部和全局上下文的重要性。这限制了模型在新图谱上的泛化能力，无法充分利用图谱的结构化信息进行推理。

核心思路：KGPFN的核心思路是将可迁移的关系规则性与上下文学习相结合。通过预训练学习关系表示的通用模式，并在推理时利用局部和全局上下文信息来调整和优化预测。这种方法允许模型在新的图谱上快速适应，并根据具体情况进行推理。

技术框架：KGPFN的整体框架包括以下几个主要模块：1) 关系表示学习：通过在关系图上进行消息传递，学习关系表示，捕获跨图关系不变性。2) 局部上下文编码：使用多层NBFNet编码查询实体周围的局部邻域，提取局部上下文信息。3) 全局上下文构建：检索查询关系的大量实例及其局部邻域，构建关系特定的全局上下文。4) 上下文聚合：使用Prior-Data Fitted Network (PFN) 框架，结合特征级别和样本级别的注意力机制，聚合局部和全局上下文信息。

关键创新：KGPFN的关键创新在于将Prior-Data Fitted Network (PFN) 框架应用于知识图谱的上下文学习。PFN能够有效地聚合来自不同来源的上下文信息，并根据预训练的知识动态调整推理过程。此外，KGPFN同时考虑了局部和全局上下文，从而更全面地利用了图谱的结构化信息。

关键设计：KGPFN的关键设计包括：1) 使用NBFNet进行局部上下文编码，能够有效地捕捉局部邻域的结构信息。2) 使用关系特定的全局上下文，能够根据查询关系动态调整推理过程。3) 使用Prior-Data Fitted Network (PFN) 框架，结合特征级别和样本级别的注意力机制，能够有效地聚合来自不同来源的上下文信息。具体的损失函数和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

KGPFN在57个知识图谱基准测试中表现出色，证明了其强大的泛化能力和上下文学习能力。实验结果表明，KGPFN仅通过上下文学习就能超越经过微调的知识图谱基础模型，在多个数据集上取得了显著的性能提升，验证了其有效性。

🎯 应用场景

KGPFN可应用于各种知识图谱相关的任务，如知识图谱补全、关系预测、实体链接等。该模型能够提升在开放域场景下的知识推理能力，例如智能问答、推荐系统、语义搜索等。通过上下文学习，KGPFN能够更好地适应新的知识图谱，降低对人工标注数据的依赖，具有广阔的应用前景。

📄 摘要（原文）

Knowledge graph (KG) foundation models aim to generalize across graphs with unseen entities and relations by learning transferable relational structure. However, most existing methods primarily emphasize relation-level universality, while in-context learning, the other pillar of foundation models remains under-explored for KG reasoning. In KGs, context is inherently structured and heterogeneous: effective prediction requires conditioning on the local context around the query entities as well as the global context that summarizes how a relation behaves across many instances. We propose KGPFN, a KG foundation model using Prior-data Fitted Network that unifies transferable relational regularities with inference-time in-context learning from structured context. KGPFN first learns relation representations via message passing on relation graphs to capture cross-graph relational invariances. For query-specific reasoning, it encodes local neighborhoods using a multi-layer NBFNet as local context. To enable ICL at global scale, it constructs relation-specific global context by retrieving a large set of instances of the query relation together with their local neighborhoods, and aggregates them within a Prior-Data Fitted Network framework that combines feature-level and sample-level attention. Through multi-graph pretraining on diverse KGs, KGPFN learns when to instantiate reusable patterns and when to override them using contextual evidence. Experiments on 57 KG benchmarks demonstrate that KGPFN achieves strong adaptation to previously unseen graphs through in-context learning alone, consistently outperforming competitive fine-tuned KG foundation models. Our code is available at https://github.com/HKUST-KnowComp/KGPFN.