Towards Graph Foundation Models: Learning Generalities Across Graphs via Task-Trees

📄 arXiv: 2412.16441v3 📥 PDF

作者: Zehong Wang, Zheyuan Zhang, Tianyi Ma, Nitesh V Chawla, Chuxu Zhang, Yanfang Ye

分类: cs.LG, cs.AI, cs.SI

发布日期: 2024-12-21 (更新: 2025-05-25)

备注: Accepted by ICML 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于任务树的图神经网络预训练框架GIT，实现跨图任务的泛化。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图神经网络 预训练 图基础模型 任务树 跨任务学习

📋 核心要点

  1. 现有图学习方法难以在异构图任务中发现通用模式，限制了模型的泛化能力。
  2. 提出基于任务树的图学习框架，通过统一不同粒度的图任务，实现知识迁移和泛化。
  3. 实验表明，预训练的GIT模型在多个图数据集上表现出色，支持微调、上下文学习和零样本泛化。

📝 摘要（中文）

本文提出了一种新的图跨任务泛化方法，通过任务树统一节点、边和图级别的任务，作为统一的学习实例。从理论上分析了任务树的稳定性、可迁移性和泛化特性，表明在多样化的任务树上使用重构目标预训练图神经网络（GNN）可以诱导出可迁移的知识，从而能够以最小的微调高效地适应下游任务。为了验证该框架，本文提出了基于任务树的图通用性标识符（GIT），这是一个图基础模型，通过微调、上下文学习和零样本泛化，在五个领域的30多个图上表现出强大的性能。代码和数据可在https://github.com/Zehong-Wang/GIT获取。

🔬 方法详解

问题定义：现有图神经网络在处理异构图任务时，缺乏有效的跨任务知识迁移机制，导致模型泛化能力受限。不同类型的图任务（节点分类、边预测、图分类等）之间存在差异，如何学习通用的图表示，并将其应用于各种下游任务，是一个挑战。

核心思路：论文的核心思路是构建一种统一的图学习框架，通过任务树将不同类型的图任务整合在一起，并利用预训练的方式学习通用的图表示。任务树的设计允许模型同时学习节点、边和图级别的特征，从而提高模型的泛化能力。

技术框架：GIT框架包含以下几个主要模块：1) 任务树构建模块：根据不同的图数据集和任务类型，构建相应的任务树。2) 图神经网络预训练模块：使用图神经网络在任务树上进行预训练，学习通用的图表示。3) 下游任务适配模块：将预训练好的图神经网络应用于下游任务，并进行微调或零样本泛化。

关键创新：该论文的关键创新在于提出了任务树的概念，并将其应用于图神经网络的预训练中。任务树能够有效地整合不同类型的图任务，并促进知识迁移。此外，该论文还从理论上分析了任务树的稳定性、可迁移性和泛化特性。

关键设计：在任务树的构建过程中，需要考虑不同任务之间的关系，并合理地设置任务树的结构。在图神经网络的预训练过程中，可以使用多种损失函数，例如重构损失、对比损失等。此外，还需要选择合适的图神经网络结构，例如GCN、GAT等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GIT模型在超过30个图数据集上进行了评估，涵盖五个不同的领域。实验结果表明，GIT模型在微调、上下文学习和零样本泛化方面均表现出强大的性能，显著优于现有的图神经网络模型。这证明了任务树在图学习中的有效性，以及GIT模型作为图基础模型的潜力。

🎯 应用场景

该研究成果可广泛应用于各种图相关的任务，例如社交网络分析、生物信息学、化学信息学等。通过预训练的图基础模型，可以快速地适应新的图数据集和任务，降低模型开发的成本，并提高模型的性能。未来，该方法有望推动图神经网络在更多领域的应用。

📄 摘要（原文）

Foundation models are pretrained on large-scale corpora to learn generalizable patterns across domains and tasks -- such as contours, textures, and edges in images, or tokens and sentences in text. In contrast, discovering such generalities in graph-structured data, especially across heterogeneous graph tasks, remains an open challenge. To address this, we propose a novel approach to cross-task generalization in graphs via task-trees, which serve as unified learning instances aligning node-, edge-, and graph-level tasks. We theoretically analyze the stability, transferability, and generalization properties of task-trees, showing that pretraining a graph neural network (GNN) on diverse task-trees with a reconstruction objective induces transferable knowledge. This enables efficient adaptation to downstream tasks with minimal fine-tuning. To validate our framework, we introduce Graph Generality Identifier on Task-Trees (GIT), a graph foundation model that demonstrates strong performance on over 30 graphs across five domains via fine-tuning, in-context learning, and zero-shot generalization. Code and data are available at https://github.com/Zehong-Wang/GIT.