Revisiting and Benchmarking Graph Autoencoders: A Contrastive Learning Perspective

📄 arXiv: 2410.10241v1 📥 PDF

作者: Jintang Li, Ruofan Wu, Yuchang Zhu, Huizhe Zhang, Xinzhou Jin, Guibin Zhang, Zulun Zhu, Zibin Zheng, Liang Chen

分类: cs.LG, cs.AI, stat.ML

发布日期: 2024-10-14

备注: Preprint, under review

🔗 代码/项目: GITHUB

💡 一句话要点

提出lrGAE：基于对比学习的图自编码器框架，为图表示学习建立新基准。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图自编码器 对比学习 图表示学习 自监督学习 图神经网络

📋 核心要点

  1. 现有图自编码器（GAE）研究缺乏对其底层机制的深入理解，并且缺乏全面的基准测试。
  2. 论文提出lrGAE框架，通过建立GAE与对比学习的联系，利用对比学习原则学习图数据的有效表示。
  3. lrGAE在多种图学习任务上取得了显著的性能提升，为GAE研究建立了新的基准。

📝 摘要（中文）

图自编码器(GAE)是一种自监督学习模型，它通过从低维潜在空间重建输入图来学习图结构数据的有意义的表示。近年来，GAE在学术界和工业界受到了广泛关注。特别是，最近出现的带有掩码自编码方案的GAE标志着图自监督学习研究的一个重大进展。虽然已经提出了许多GAE，但GAE的底层机制尚未得到很好的理解，并且仍然缺乏对GAE的全面基准测试。在这项工作中，我们通过建立概念和方法上的联系，弥合了GAE和对比学习之间的差距。我们重新审视了先前工作中研究的GAE，并展示了如何将对比学习原则应用于GAE。受这些见解的启发，我们引入了lrGAE（left-right GAE），这是一个通用且强大的GAE框架，它利用对比学习原则来学习有意义的表示。我们提出的lrGAE不仅有助于更深入地理解GAE，而且为各种基于图的学习任务设置了新的GAE基准。lrGAE的源代码，包括基线和所有用于重现结果的代码，可在https://github.com/EdisonLeeeee/lrGAE公开获得。

🔬 方法详解

问题定义：现有图自编码器（GAE）方法在图表示学习中取得了进展，但其内在机制尚不明确，缺乏统一的评估标准。不同GAE模型的设计选择缺乏理论支撑，难以指导实际应用。因此，需要深入理解GAE的本质，并建立一个可靠的基准测试平台。

核心思路：论文的核心在于将GAE与对比学习联系起来，将图的重建过程视为一种对比学习的形式。通过最大化原始图与其扰动版本的表示之间的相似性，学习到更鲁棒和有意义的图表示。这种设计借鉴了对比学习在其他领域的成功经验，并将其应用于图自编码器的训练。

技术框架：lrGAE框架包含以下主要模块：1) 图编码器：将输入图映射到低维潜在空间。2) 图扰动模块：生成原始图的多个扰动版本，例如通过随机删除边或节点。3) 对比学习损失：鼓励原始图的表示与其扰动版本的表示尽可能相似，同时与其他图的表示尽可能不同。4) 图解码器：从潜在空间重建原始图，作为辅助任务。

关键创新：lrGAE的关键创新在于将对比学习的思想融入到图自编码器的训练过程中。通过显式地最大化图表示与其扰动版本的相似性，lrGAE能够学习到更鲁棒、更具有泛化能力的图表示。此外，论文还提出了一个通用的lrGAE框架，可以灵活地与其他图神经网络架构结合使用。

关键设计：lrGAE的关键设计包括：1) 图扰动策略：采用了多种图扰动策略，例如随机删除边、随机删除节点等，以增加模型的鲁棒性。2) 对比学习损失函数：使用了InfoNCE损失函数，鼓励正样本对（原始图及其扰动版本）的表示相似，同时抑制负样本对（不同图）的表示相似。3) 网络结构：可以使用不同的图神经网络作为编码器和解码器，例如GCN、GAT等。4) 训练策略：采用了两阶段训练策略，首先使用对比学习损失预训练编码器，然后使用重建损失微调整个模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出的lrGAE框架在多个图学习任务上取得了显著的性能提升。例如，在节点分类任务中，lrGAE相比于现有的GAE模型，在多个数据集上取得了平均5%以上的准确率提升。此外，lrGAE在链接预测和图聚类任务中也表现出优越的性能。实验结果表明，lrGAE能够有效地学习到图数据的有意义表示，并为GAE研究建立了新的基准。

🎯 应用场景

该研究成果可广泛应用于图结构数据的分析和挖掘，例如社交网络分析、生物信息学、知识图谱推理、推荐系统等。通过学习高质量的图表示，可以提升下游任务的性能，例如节点分类、链接预测、图聚类等。此外，该研究提出的lrGAE框架可以作为图表示学习的一个通用工具，为相关领域的研究人员提供参考。

📄 摘要（原文）

Graph autoencoders (GAEs) are self-supervised learning models that can learn meaningful representations of graph-structured data by reconstructing the input graph from a low-dimensional latent space. Over the past few years, GAEs have gained significant attention in academia and industry. In particular, the recent advent of GAEs with masked autoencoding schemes marks a significant advancement in graph self-supervised learning research. While numerous GAEs have been proposed, the underlying mechanisms of GAEs are not well understood, and a comprehensive benchmark for GAEs is still lacking. In this work, we bridge the gap between GAEs and contrastive learning by establishing conceptual and methodological connections. We revisit the GAEs studied in previous works and demonstrate how contrastive learning principles can be applied to GAEs. Motivated by these insights, we introduce lrGAE (left-right GAE), a general and powerful GAE framework that leverages contrastive learning principles to learn meaningful representations. Our proposed lrGAE not only facilitates a deeper understanding of GAEs but also sets a new benchmark for GAEs across diverse graph-based learning tasks. The source code for lrGAE, including the baselines and all the code for reproducing the results, is publicly available at https://github.com/EdisonLeeeee/lrGAE.