Bootstrap Latents of Nodes and Neighbors for Graph Self-Supervised Learning
作者: Yunhui Liu, Huaisong Zhang, Tieke He, Tao Zheng, Jianhua Zhao
分类: cs.LG
发布日期: 2024-08-09
备注: Accepted by ECML PKDD 2024
💡 一句话要点
提出基于节点-邻居自举潜在表示的图自监督学习方法，提升类内紧凑性。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 图自监督学习 对比学习 图神经网络 节点表示学习 图同质性
📋 核心要点
- 图自监督学习依赖负样本进行对比学习，但负样本引入了计算开销和类冲突问题。
- 利用图的同质性，将节点-邻居对作为正样本扩展，并使用交叉注意力评估邻居的支撑性。
- 实验表明，该方法增强了节点表示的类内紧凑性，并在多个下游任务上取得了SOTA性能。
📝 摘要（中文）
对比学习是图自监督学习中的重要范式。然而，它需要负样本来防止模型坍塌并学习判别性表示。这些负样本不可避免地导致大量的计算和内存开销，以及类冲突，从而影响表示学习。最近的研究表明，避免负样本的方法可以获得有竞争力的性能和可扩展性增强，例如自举图潜在表示（BGRL）。然而，BGRL忽略了固有的图同质性，这为潜在的正样本对提供了有价值的见解。我们的动机来自于观察到巧妙地引入少量真实正样本对可以显著改善BGRL。虽然在自监督设置下我们无法获得没有标签的真实正样本对，但图中的边可以反映嘈杂的正样本对，即相邻节点通常共享相同的标签。因此，我们建议使用节点-邻居对来扩展正样本对集合。随后，我们引入了一个交叉注意力模块来预测邻居相对于锚节点的支撑性得分。该分数量化了来自每个相邻节点的正向支持，并被编码到训练目标中。因此，我们的方法减轻了来自负样本和嘈杂正样本的类冲突，同时增强了类内紧凑性。在五个基准数据集和三个下游任务（节点分类、节点聚类和节点相似性搜索）上进行了大量实验。结果表明，我们的方法生成了具有增强的类内紧凑性的节点表示，并实现了最先进的性能。
🔬 方法详解
问题定义：现有的图自监督对比学习方法依赖于负样本来学习节点表示，但负样本的引入导致了较高的计算和内存开销，并且容易产生类冲突，从而影响了学习到的节点表示的质量。此外，像BGRL这样的方法忽略了图的同质性，即相邻节点之间存在潜在的正样本关系，这部分信息没有被充分利用。
核心思路：论文的核心思路是利用图的同质性，将相邻节点视为潜在的正样本对，并引入一种机制来评估邻居节点对于中心节点的支撑程度。通过这种方式，可以减少对负样本的依赖，并更好地利用图结构信息来学习节点表示。
技术框架：该方法主要包含以下几个模块：1) 图编码器：用于将节点及其邻居映射到潜在表示空间。2) 节点-邻居正样本对扩展：利用图的边信息，将相邻节点对作为正样本对添加到训练集中。3) 交叉注意力模块：用于计算邻居节点对于中心节点的支撑性得分，该得分反映了邻居节点对中心节点表示学习的贡献程度。4) 自监督学习目标函数：结合节点表示、邻居支撑性得分和正样本对信息，设计自监督学习目标函数，用于训练图编码器。
关键创新：该方法最重要的创新点在于利用交叉注意力机制来评估邻居节点对于中心节点的支撑性。这种机制能够区分不同邻居节点的重要性，并有选择性地利用邻居信息来增强节点表示的学习。与传统的将所有邻居节点同等对待的方法相比，该方法能够更有效地利用图结构信息。
关键设计：交叉注意力模块的设计是关键。具体来说，该模块以中心节点和邻居节点的潜在表示作为输入，通过注意力机制计算每个邻居节点的注意力权重，该权重即为支撑性得分。损失函数的设计也至关重要，需要结合节点表示、邻居支撑性得分和正样本对信息，以鼓励模型学习具有类内紧凑性的节点表示。具体的参数设置和网络结构细节在论文中有详细描述，这里不再赘述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在五个基准数据集上，针对节点分类、节点聚类和节点相似性搜索三个下游任务，均取得了state-of-the-art的性能。相较于BGRL等基线方法，该方法能够显著提升节点表示的类内紧凑性，从而改善下游任务的性能。具体的性能提升幅度在论文中有详细的实验数据。
🎯 应用场景
该研究成果可应用于社交网络分析、推荐系统、生物信息学等领域。例如，在社交网络中，可以利用该方法学习用户表示，用于好友推荐、社区发现等任务。在生物信息学中，可以用于蛋白质相互作用网络分析、基因功能预测等任务。该方法能够提升节点表示的质量，从而改善下游任务的性能。
📄 摘要（原文）
Contrastive learning is a significant paradigm in graph self-supervised learning. However, it requires negative samples to prevent model collapse and learn discriminative representations. These negative samples inevitably lead to heavy computation, memory overhead and class collision, compromising the representation learning. Recent studies present that methods obviating negative samples can attain competitive performance and scalability enhancements, exemplified by bootstrapped graph latents (BGRL). However, BGRL neglects the inherent graph homophily, which provides valuable insights into underlying positive pairs. Our motivation arises from the observation that subtly introducing a few ground-truth positive pairs significantly improves BGRL. Although we can't obtain ground-truth positive pairs without labels under the self-supervised setting, edges in the graph can reflect noisy positive pairs, i.e., neighboring nodes often share the same label. Therefore, we propose to expand the positive pair set with node-neighbor pairs. Subsequently, we introduce a cross-attention module to predict the supportiveness score of a neighbor with respect to the anchor node. This score quantifies the positive support from each neighboring node, and is encoded into the training objective. Consequently, our method mitigates class collision from negative and noisy positive samples, concurrently enhancing intra-class compactness. Extensive experiments are conducted on five benchmark datasets and three downstream task node classification, node clustering, and node similarity search. The results demonstrate that our method generates node representations with enhanced intra-class compactness and achieves state-of-the-art performance.