Generative and Contrastive Paradigms Are Complementary for Graph Self-Supervised Learning

📄 arXiv: 2310.15523v1 📥 PDF

作者: Yuxiang Wang, Xiao Yan, Chuang Hu, Fangcheng Fu, Wentao Zhang, Hao Wang, Shuo Shang, Jiawei Jiang

分类: cs.LG, cs.AI

发布日期: 2023-10-24

💡 一句话要点

提出图对比掩码自编码器以解决图自监督学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图自监督学习 掩码自编码器 对比学习 图表示学习 节点分类 链接预测 图分类

📋 核心要点

  1. 现有的图自监督学习方法将生成和对比学习分开，无法充分利用两者的互补性。
  2. 本文提出GCMAE框架，通过共享编码器将MAE和CL结合，增强全局信息的捕捉能力。
  3. GCMAE在节点分类、节点聚类、链接预测和图分类等任务上表现优异，准确率最高提升3.2%。

📝 摘要（中文）

在图自监督学习（GSSL）中，掩码自编码器（MAE）采用生成范式，学习重构掩码图边或节点特征，而对比学习（CL）则通过最大化同一图的增强视图之间的相似性来进行学习。现有研究将MAE和CL视为独立的方法。本文观察到MAE与CL是互补的，提出了图对比掩码自编码器（GCMAE）框架以将二者统一。GCMAE通过共享编码器的方式，使MAE分支能够利用CL分支提取的全局信息，并训练其重构整个邻接矩阵，从而捕捉全局图结构。此外，提出了一种判别损失用于特征重构，改善节点嵌入之间的差异性。实验结果表明，GCMAE在四个流行的图任务上表现优异，最大准确率提升达到3.2%。

🔬 方法详解

问题定义：本文旨在解决图自监督学习中生成范式和对比范式的分离问题。现有方法如MAE无法捕捉全局信息，且对特定边和特征敏感，而CL则擅长提取全局信息。

核心思路：提出GCMAE框架，通过结合MAE和CL的优势，利用共享编码器使MAE分支能够利用CL分支提取的全局信息，从而提升图结构的重构能力。

技术框架：GCMAE框架包含两个主要分支：MAE分支和CL分支，二者共享一个编码器。MAE分支负责重构整个邻接矩阵，而CL分支则通过对比学习提取全局信息。

关键创新：GCMAE的创新在于将MAE和CL有效结合，允许MAE分支利用CL分支提取的全局信息，解决了MAE对局部信息的依赖问题。

关键设计：GCMAE设计了重构整个邻接矩阵的训练目标，并引入判别损失以提高节点嵌入的差异性，避免特征平滑问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GCMAE在四个流行的图任务上进行了评估，结果显示其在准确性上优于14个最先进的基线方法，最大提升达到3.2%。这一结果表明GCMAE在图自监督学习中的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、生物信息学和推荐系统等。通过提升图数据的表示能力，GCMAE能够在节点分类、聚类和链接预测等任务中提供更准确的结果，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

For graph self-supervised learning (GSSL), masked autoencoder (MAE) follows the generative paradigm and learns to reconstruct masked graph edges or node features. Contrastive Learning (CL) maximizes the similarity between augmented views of the same graph and is widely used for GSSL. However, MAE and CL are considered separately in existing works for GSSL. We observe that the MAE and CL paradigms are complementary and propose the graph contrastive masked autoencoder (GCMAE) framework to unify them. Specifically, by focusing on local edges or node features, MAE cannot capture global information of the graph and is sensitive to particular edges and features. On the contrary, CL excels in extracting global information because it considers the relation between graphs. As such, we equip GCMAE with an MAE branch and a CL branch, and the two branches share a common encoder, which allows the MAE branch to exploit the global information extracted by the CL branch. To force GCMAE to capture global graph structures, we train it to reconstruct the entire adjacency matrix instead of only the masked edges as in existing works. Moreover, a discrimination loss is proposed for feature reconstruction, which improves the disparity between node embeddings rather than reducing the reconstruction error to tackle the feature smoothing problem of MAE. We evaluate GCMAE on four popular graph tasks (i.e., node classification, node clustering, link prediction, and graph classification) and compare with 14 state-of-the-art baselines. The results show that GCMAE consistently provides good accuracy across these tasks, and the maximum accuracy improvement is up to 3.2% compared with the best-performing baseline.