Graph Structure Refinement with Energy-based Contrastive Learning

📄 arXiv: 2412.17856v3 📥 PDF

作者: Xianlin Zeng, Yufeng Wang, Yuqi Sun, Guodong Guo, Wenrui Ding, Baochang Zhang

分类: cs.LG

发布日期: 2024-12-20 (更新: 2025-03-24)

备注: Accepted to AAAI 2025

💡 一句话要点

提出基于能量的对比学习图结构优化框架ECL-GSR，提升图神经网络节点分类性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图神经网络 图结构优化 对比学习 能量模型 节点分类 无监督学习 图表示学习

📋 核心要点

  1. 现有GNN方法在处理具有噪声或不完整结构的图数据时，性能会显著下降，缺乏足够的鲁棒性。
  2. 论文提出ECL-GSR框架，结合能量模型和对比学习，通过优化图结构和表示来提升GNN的判别性能。
  3. 实验结果表明，ECL-GSR在多个节点分类基准数据集上超越了现有最优方法，并具有更快的训练速度。

📝 摘要（中文）

图神经网络(GNNs)已成为分析图结构数据的有效工具。然而，不完善的图结构和噪声连接会降低鲁棒性，损害图表示，限制GNN在实际任务中的性能。此外，现有的生成架构难以适应判别性的图相关任务。为了解决这些问题，我们提出了一种基于生成训练和判别训练相结合的无监督方法，用于学习图结构和表示，旨在提高生成模型的判别性能。我们提出了一个基于能量的对比学习(ECL)引导的图结构优化(GSR)框架，称为ECL-GSR。据我们所知，这是第一个将基于能量的模型与对比学习相结合用于GSR的工作。具体来说，我们利用ECL来近似样本对的联合分布，从而增加正样本对表示之间的相似性，同时减少负样本对之间的相似性。通过根据节点表示之间的相似性指标增强和删除边来生成优化的结构。大量实验表明，ECL-GSR在节点分类的八个基准数据集上优于最先进的方法。ECL-GSR以更少的样本和内存实现了更快的训练速度，突出了其在下游任务中的简单性和效率。

🔬 方法详解

问题定义：现有的图神经网络在处理实际应用中常见的噪声图结构时，性能会受到显著影响。图结构中的错误连接或缺失连接会导致节点表示质量下降，进而影响下游任务的准确性。此外，现有的图生成模型通常难以直接优化以适应判别性任务，例如节点分类。

核心思路：论文的核心思路是通过联合优化图结构和节点表示来提高GNN的鲁棒性和判别能力。具体来说，利用能量模型和对比学习来学习节点表示之间的相似性，并根据这种相似性来调整图结构，从而减少噪声连接并增强重要连接。这种方法旨在使GNN能够更好地捕捉图数据的内在结构，并生成更具判别性的节点表示。

技术框架：ECL-GSR框架主要包含以下几个模块：1) 图神经网络编码器：用于生成初始的节点表示。2) 基于能量的对比学习(ECL)模块：用于学习节点表示之间的相似性，通过最大化正样本对的相似性并最小化负样本对的相似性来优化节点表示。3) 图结构优化(GSR)模块：根据ECL模块学习到的相似性度量，动态地调整图结构，包括添加或删除边。整个框架采用无监督的方式进行训练，通过迭代优化节点表示和图结构来提高GNN的性能。

关键创新：该论文的关键创新在于将能量模型和对比学习相结合，用于图结构优化。与传统的图结构学习方法相比，ECL-GSR能够更有效地学习节点表示之间的相似性，并根据这种相似性来调整图结构。此外，ECL-GSR采用无监督的方式进行训练，无需人工标注的图结构信息，使其更适用于实际应用。

关键设计：ECL模块使用能量函数来建模节点表示之间的联合分布，并通过对比学习的目标函数来优化能量函数。GSR模块根据节点表示之间的相似性得分来决定是否添加或删除边，可以使用不同的相似性度量，例如余弦相似度或欧几里得距离。此外，论文还设计了一种自适应的边调整策略，根据节点的度数来调整边的添加或删除概率，以避免过度平滑。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ECL-GSR在八个节点分类基准数据集上取得了state-of-the-art的结果，显著优于现有方法。例如，在Cora数据集上，ECL-GSR的准确率比现有最优方法提高了超过2%。此外，ECL-GSR在训练速度和内存消耗方面也具有优势，能够在更少的样本和更小的内存占用下实现更快的训练速度。

🎯 应用场景

该研究成果可广泛应用于社交网络分析、生物信息学、知识图谱推理等领域。通过优化图结构，可以提高GNN在这些领域的节点分类、链接预测等任务中的性能，从而更好地理解和利用图数据。例如，在社交网络中，可以识别虚假账号或恶意用户；在生物信息学中，可以预测蛋白质之间的相互作用。

📄 摘要（原文）

Graph Neural Networks (GNNs) have recently gained widespread attention as a successful tool for analyzing graph-structured data. However, imperfect graph structure with noisy links lacks enough robustness and may damage graph representations, therefore limiting the GNNs' performance in practical tasks. Moreover, existing generative architectures fail to fit discriminative graph-related tasks. To tackle these issues, we introduce an unsupervised method based on a joint of generative training and discriminative training to learn graph structure and representation, aiming to improve the discriminative performance of generative models. We propose an Energy-based Contrastive Learning (ECL) guided Graph Structure Refinement (GSR) framework, denoted as ECL-GSR. To our knowledge, this is the first work to combine energy-based models with contrastive learning for GSR. Specifically, we leverage ECL to approximate the joint distribution of sample pairs, which increases the similarity between representations of positive pairs while reducing the similarity between negative ones. Refined structure is produced by augmenting and removing edges according to the similarity metrics among node representations. Extensive experiments demonstrate that ECL-GSR outperforms the state-of-the-art on eight benchmark datasets in node classification. ECL-GSR achieves faster training with fewer samples and memories against the leading baseline, highlighting its simplicity and efficiency in downstream tasks.