Khan-GCL: Kolmogorov-Arnold Network Based Graph Contrastive Learning with Hard Negatives

📄 arXiv: 2505.15103v2 📥 PDF

作者: Zihu Wang, Boxun Xu, Hejia Geng, Peng Li

分类: cs.LG

发布日期: 2025-05-21 (更新: 2025-08-08)

备注: Graph Contrastive Learning, Self-supervised Learning, Kolmogorov-Arnold Network, Representation Learning

💡 一句话要点

Khan-GCL：基于Kolmogorov-Arnold网络和难负例的图对比学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图对比学习 Kolmogorov-Arnold网络 难负例挖掘 图表示学习 自监督学习

📋 核心要点

  1. 传统图对比学习方法受限于MLP编码器的表达能力，难以捕捉复杂的图结构信息。
  2. Khan-GCL利用KAN增强编码器表达能力，并设计了基于KAN系数的关键特征识别技术。
  3. 实验结果表明，Khan-GCL在多个数据集和任务上超越了现有GCL方法，取得了SOTA性能。

📝 摘要（中文）

图对比学习(GCL)在从无标签数据中学习可泛化的图表示方面表现出巨大潜力。然而，传统的GCL方法面临两个关键限制：(1)基于多层感知机(MLP)的编码器的表达能力受限；(2)次优的负样本，要么来自随机增强，无法提供有效的“难负例”，要么生成难负例时没有解决区分图数据的关键语义差异。为此，我们提出了Khan-GCL，这是一个新颖的框架，将Kolmogorov-Arnold网络(KAN)集成到GCL编码器架构中，从而显著增强其表示能力。此外，我们利用KAN系数参数中嵌入的丰富信息，开发了两种新颖的关键特征识别技术，从而能够为每个图表示生成语义上有意义的难负例。这些策略性构建的难负例通过强调图之间的关键语义差异来指导编码器学习更具区分性的特征。大量的实验表明，与各种数据集和任务上的现有GCL方法相比，我们的方法实现了最先进的性能。

🔬 方法详解

问题定义：现有图对比学习方法依赖于MLP作为编码器，表达能力有限，难以捕捉图数据的复杂语义信息。此外，负样本的选择通常是随机的或未充分考虑语义信息，导致对比学习效果不佳。因此，如何提升图编码器的表达能力，并生成更具信息量的难负例是亟待解决的问题。

核心思路：论文的核心思路是利用Kolmogorov-Arnold Network (KAN) 替代传统的MLP作为图编码器，从而提升模型的表达能力。同时，利用KAN的系数参数来识别图的关键特征，并基于这些关键特征生成语义相关的难负例。通过这种方式，模型可以学习到更具区分性的图表示。

技术框架：Khan-GCL框架主要包含以下几个模块：1) 基于KAN的图编码器：用于将图数据编码为图表示。2) 关键特征识别模块：利用KAN的系数参数识别图的关键特征。3) 难负例生成模块：基于识别的关键特征生成语义相关的难负例。4) 对比学习模块：利用对比学习损失函数，使图表示与其正样本更接近，与其难负例更远离。

关键创新：论文的关键创新在于：1) 将KAN引入图对比学习，显著提升了编码器的表达能力。2) 提出了基于KAN系数的关键特征识别技术，能够生成语义相关的难负例。3) 将KAN的表达能力和难负例生成策略结合，提升了图对比学习的性能。

关键设计：在网络结构方面，KAN的结构和参数设置需要根据具体任务进行调整。在损失函数方面，采用了InfoNCE损失函数，并根据难负例的生成方式进行了调整。关键特征识别模块的设计需要仔细考虑KAN系数参数的含义，并选择合适的算法来识别关键特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Khan-GCL在多个图数据集上取得了SOTA性能。例如，在节点分类任务中，Khan-GCL相比于现有GCL方法，平均提升了2-5%。在图分类任务中，Khan-GCL也取得了显著的性能提升。这些结果验证了Khan-GCL的有效性和优越性。

🎯 应用场景

Khan-GCL可应用于各种图相关的任务，例如节点分类、图分类、图匹配、图生成等。其在生物信息学、社交网络分析、化学信息学等领域具有广泛的应用前景。通过学习更具表达能力的图表示，可以提升这些领域中各种任务的性能，例如药物发现、社交关系预测、化合物性质预测等。

📄 摘要（原文）

Graph contrastive learning (GCL) has demonstrated great promise for learning generalizable graph representations from unlabeled data. However, conventional GCL approaches face two critical limitations: (1) the restricted expressive capacity of multilayer perceptron (MLP) based encoders, and (2) suboptimal negative samples that either from random augmentations-failing to provide effective 'hard negatives'-or generated hard negatives without addressing the semantic distinctions crucial for discriminating graph data. To this end, we propose Khan-GCL, a novel framework that integrates the Kolmogorov-Arnold Network (KAN) into the GCL encoder architecture, substantially enhancing its representational capacity. Furthermore, we exploit the rich information embedded within KAN coefficient parameters to develop two novel critical feature identification techniques that enable the generation of semantically meaningful hard negative samples for each graph representation. These strategically constructed hard negatives guide the encoder to learn more discriminative features by emphasizing critical semantic differences between graphs. Extensive experiments demonstrate that our approach achieves state-of-the-art performance compared to existing GCL methods across a variety of datasets and tasks.