GSTBench: A Benchmark Study on the Transferability of Graph Self-Supervised Learning

📄 arXiv: 2509.06975v1 📥 PDF

作者: Yu Song, Zhigang Hua, Yan Xie, Jingzhe Liu, Bo Long, Hui Liu

分类: cs.LG, cs.AI

发布日期: 2025-08-28

备注: Accepted at CIKM'25

🔗 代码/项目: GITHUB

💡 一句话要点

GSTBench：图自监督学习可迁移性基准测试，揭示现有方法泛化能力不足。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图自监督学习 可迁移性 基准测试 图表示学习 预训练 知识迁移 图神经网络

📋 核心要点

  1. 现有图自监督学习方法缺乏跨数据集的可迁移性研究，限制了其在大规模预训练和知识迁移方面的潜力。
  2. GSTBench通过标准化实验设置，解耦混淆因素，专注于预训练目标，系统评估了图自监督学习方法的可迁移性。
  3. 实验表明，大多数图自监督学习方法泛化能力差，而GraphMAE表现出较好的迁移性能，为未来研究提供了指导。

📝 摘要（中文）

自监督学习(SSL)在图表示学习中展现出巨大潜力。然而，现有图SSL方法大多在单数据集环境下开发和评估，使其跨数据集的可迁移性在很大程度上未被探索，限制了其利用知识迁移和大规模预训练的能力，而这些因素对于开发超越拟合训练数据的通用智能至关重要。为了解决这一差距并推进图的基础模型研究，我们提出了GSTBench，这是第一个用于评估图SSL方法可迁移性的系统基准。我们对ogbn-papers100M进行了大规模预训练，并在各种目标图上评估了五种具有代表性的SSL方法。我们的标准化实验设置解耦了模型架构、数据集特征和适应协议等混淆因素，从而能够进行严格的比较，仅关注预训练目标。令人惊讶的是，我们观察到大多数图SSL方法难以泛化，有些方法的性能甚至比随机初始化更差。相比之下，GraphMAE（一种掩码自编码器方法）始终提高了迁移性能。我们分析了驱动这些差异的根本因素，并为指导未来可迁移图SSL的研究提供了见解，为图学习中的“预训练-然后-迁移”范式奠定了坚实的基础。我们的代码可在https://github.com/SongYYYY/GSTBench获得。

🔬 方法详解

问题定义：现有图自监督学习方法主要在单个数据集上进行评估，缺乏对跨数据集迁移能力的系统性研究。这限制了模型利用大规模预训练数据和知识迁移的能力，阻碍了通用图智能的发展。现有方法的痛点在于无法有效利用预训练模型在不同图结构和特征上的泛化能力。

核心思路：GSTBench的核心思路是通过构建一个标准化的基准测试平台，系统性地评估不同图自监督学习方法在跨数据集迁移时的性能。通过解耦模型架构、数据集特征和适应协议等混淆因素，专注于预训练目标对迁移性能的影响。

技术框架：GSTBench的整体框架包括三个主要部分：1) 大规模预训练数据集（ogbn-papers100M）；2) 多样化的目标数据集，用于评估迁移性能；3) 标准化的实验流程，包括模型选择、预训练、迁移和评估。该流程旨在消除混淆因素，确保评估结果的可靠性和可比性。

关键创新：GSTBench的关键创新在于其系统性的评估方法和对现有图自监督学习方法迁移能力的深入分析。它揭示了现有方法在迁移学习方面的局限性，并指出了GraphMAE在迁移性能方面的优势。该基准测试为未来研究可迁移图自监督学习提供了重要的参考。

关键设计：GSTBench的关键设计包括：1) 选择ogbn-papers100M作为预训练数据集，因为它具有大规模和丰富的图结构；2) 选择多样化的目标数据集，以覆盖不同的图类型和应用场景；3) 标准化实验流程，包括统一的模型架构、超参数设置和评估指标；4) 重点关注预训练目标对迁移性能的影响，通过对比不同预训练方法的性能差异，分析其内在原因。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，大多数图自监督学习方法在跨数据集迁移时表现不佳，甚至不如随机初始化。而GraphMAE（一种掩码自编码器方法）在迁移性能方面表现出明显的优势， consistently 提高了迁移性能。该研究揭示了现有图自监督学习方法在泛化能力方面的局限性，并为未来研究提供了重要的指导。

🎯 应用场景

该研究成果可应用于各种图相关的任务，例如社交网络分析、生物信息学、推荐系统等。通过预训练-迁移范式，可以利用大规模图数据提升模型在小规模数据集上的性能，降低对标注数据的依赖，加速图学习模型的开发和部署。未来可用于构建更通用的图基础模型。

📄 摘要（原文）

Self-supervised learning (SSL) has shown great promise in graph representation learning. However, most existing graph SSL methods are developed and evaluated under a single-dataset setting, leaving their cross-dataset transferability largely unexplored and limiting their ability to leverage knowledge transfer and large-scale pretraining, factors that are critical for developing generalized intelligence beyond fitting training data. To address this gap and advance foundation model research for graphs, we present GSTBench, the first systematic benchmark for evaluating the transferability of graph SSL methods. We conduct large-scale pretraining on ogbn-papers100M and evaluate five representative SSL methods across a diverse set of target graphs. Our standardized experimental setup decouples confounding factors such as model architecture, dataset characteristics, and adaptation protocols, enabling rigorous comparisons focused solely on pretraining objectives. Surprisingly, we observe that most graph SSL methods struggle to generalize, with some performing worse than random initialization. In contrast, GraphMAE, a masked autoencoder approach, consistently improves transfer performance. We analyze the underlying factors that drive these differences and offer insights to guide future research on transferable graph SSL, laying a solid foundation for the "pretrain-then-transfer" paradigm in graph learning. Our code is available at https://github.com/SongYYYY/GSTBench.