Simple and Asymmetric Graph Contrastive Learning without Augmentations

📄 arXiv: 2310.18884v3 📥 PDF

作者: Teng Xiao, Huaisheng Zhu, Zhengyu Chen, Suhang Wang

分类: cs.LG, stat.ML

发布日期: 2023-10-29 (更新: 2024-02-24)

备注: NeurIPS 2023 Main Track

🔗 代码/项目: GITHUB

💡 一句话要点

提出无增强的简单非对称图对比学习以解决异质图问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图对比学习 异质图 非对称学习 自监督学习 节点表示 图结构数据

📋 核心要点

  1. 现有的图对比学习方法依赖于图增强和同质性假设，导致在异质图上表现不佳。
  2. 提出的GraphACL通过考虑邻居节点的非对称视角，避免了对图增强和同质性假设的依赖。
  3. 实验结果表明，GraphACL在同质和异质图上显著超越了当前最先进的对比学习和自监督学习方法。

📝 摘要（中文）

图对比学习（GCL）在图结构数据的表示学习中表现出色。然而，现有大多数GCL方法依赖于预制的图增强和同质性假设，因此在异质图上泛化能力较差。本文研究了在同质和异质图上进行对比学习的问题，提出了一种简单的非对称邻居视角的算法——非对称图对比学习（GraphACL），该算法易于实现，不依赖于图增强和同质性假设。理论和实证结果表明，GraphACL能够有效捕捉一跳局部邻域信息和两跳单一性相似性，这对于建模异质图至关重要。实验结果显示，GraphACL在同质和异质图上显著优于现有的图对比学习和自监督学习方法。

🔬 方法详解

问题定义：本文旨在解决现有图对比学习方法在异质图上泛化能力不足的问题。现有方法通常依赖于图增强和同质性假设，无法有效处理连接节点具有不同类别标签和特征的情况。

核心思路：论文提出的GraphACL通过采用非对称的邻居视角来进行对比学习，旨在捕捉图中节点的局部结构信息，而不依赖于传统的图增强技术。这样的设计使得模型能够更好地适应异质图的特性。

技术框架：GraphACL的整体架构包括两个主要模块：一是通过非对称视角获取邻居节点的信息，二是通过对比学习机制来优化节点表示。该框架简单易实现，适用于多种图结构数据。

关键创新：GraphACL的主要创新在于其非对称视角的设计，这一设计使得模型能够有效捕捉一跳局部邻域信息和两跳单一性相似性，与传统方法的同质性假设形成鲜明对比。

关键设计：在实现上，GraphACL采用了特定的损失函数来优化节点表示，并通过调整超参数来平衡不同邻居节点的信息影响，确保模型在异质图上的有效性。具体的网络结构和参数设置在实验中进行了详细的验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GraphACL在同质图和异质图上的表现均显著优于现有的最先进方法，具体而言，在某些数据集上提升幅度达到20%以上，验证了其在图对比学习中的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、生物信息学和推荐系统等。GraphACL能够有效处理异质图数据，提升模型在复杂网络中的表现，具有重要的实际价值和广泛的应用前景。未来，该方法可能推动更多领域的图学习研究，促进智能系统的进一步发展。

📄 摘要（原文）

Graph Contrastive Learning (GCL) has shown superior performance in representation learning in graph-structured data. Despite their success, most existing GCL methods rely on prefabricated graph augmentation and homophily assumptions. Thus, they fail to generalize well to heterophilic graphs where connected nodes may have different class labels and dissimilar features. In this paper, we study the problem of conducting contrastive learning on homophilic and heterophilic graphs. We find that we can achieve promising performance simply by considering an asymmetric view of the neighboring nodes. The resulting simple algorithm, Asymmetric Contrastive Learning for Graphs (GraphACL), is easy to implement and does not rely on graph augmentations and homophily assumptions. We provide theoretical and empirical evidence that GraphACL can capture one-hop local neighborhood information and two-hop monophily similarity, which are both important for modeling heterophilic graphs. Experimental results show that the simple GraphACL significantly outperforms state-of-the-art graph contrastive learning and self-supervised learning methods on homophilic and heterophilic graphs. The code of GraphACL is available at https://github.com/tengxiao1/GraphACL.