StructComp: Substituting Propagation with Structural Compression in Training Graph Contrastive Learning

📄 arXiv: 2312.04865v4 📥 PDF

作者: Shengzhong Zhang, Wenjie Yang, Xinyuan Cao, Hongwei Zhang, Zengfeng Huang

分类: cs.LG

发布日期: 2023-12-08 (更新: 2024-05-09)

备注: Accepted by ICLR 2024

💡 一句话要点

提出StructComp，通过结构压缩加速图对比学习训练并提升性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图对比学习 结构压缩 图神经网络 可扩展性 稀疏低秩近似

📋 核心要点

  1. 图对比学习可扩展性差，训练时消息传递计算量大，对比样本对数量多。
  2. StructComp通过结构压缩，使用压缩节点训练编码器，无需消息传递，减少对比样本。
  3. 实验表明，StructComp在降低时间和内存消耗的同时，还能提升模型性能。

📝 摘要（中文）

图对比学习(GCL)已成为学习图数据的强大工具，但其可扩展性仍然是一个重大挑战。本文提出了一种简单而有效的训练框架，称为结构压缩(StructComp)来解决这个问题。受到扩散矩阵上稀疏低秩近似的启发，StructComp使用压缩节点训练编码器。这使得编码器在训练阶段无需执行任何消息传递，并显著减少了对比损失中的样本对数量。我们从理论上证明，原始GCL损失可以用StructComp计算的对比损失来近似。此外，StructComp可以被视为GCL模型的附加正则化项，从而产生更鲁棒的编码器。在各种数据集上的实验研究表明，与原始GCL模型和可扩展的训练方法相比，StructComp大大减少了时间和内存消耗，同时提高了模型性能。

🔬 方法详解

问题定义：图对比学习(GCL)在处理大规模图数据时面临可扩展性问题。传统的GCL方法需要在训练过程中进行大量的消息传递，计算复杂度高，并且需要大量的对比样本对，导致时间和内存消耗巨大。现有方法难以兼顾效率和性能。

核心思路：StructComp的核心思想是利用图的结构信息进行压缩，通过稀疏低秩近似来减少需要处理的节点数量。这样，编码器可以在压缩后的图上进行训练，无需进行消息传递，从而大大降低计算复杂度。同时，减少对比样本对的数量，进一步提升训练效率。

技术框架：StructComp的整体框架包括以下几个主要步骤：1) 结构压缩：使用稀疏低秩近似方法对图的扩散矩阵进行压缩，得到压缩后的节点集合。2) 编码器训练：使用压缩后的节点集合训练图神经网络编码器。在训练过程中，编码器无需进行消息传递。3) 对比学习：使用压缩节点计算对比损失，优化编码器。

关键创新：StructComp的关键创新在于将结构压缩引入到图对比学习的训练过程中。通过结构压缩，可以显著减少需要处理的节点数量和对比样本对的数量，从而降低计算复杂度，提高训练效率。与现有方法相比，StructComp无需进行消息传递，避免了消息传递带来的计算开销。

关键设计：StructComp的关键设计包括：1) 稀疏低秩近似方法：选择合适的稀疏低秩近似方法对图的扩散矩阵进行压缩，例如Nyström方法。2) 对比损失函数：使用InfoNCE损失函数或其他合适的对比损失函数来训练编码器。3) 正则化项：StructComp可以被视为GCL模型的附加正则化项，可以提高模型的鲁棒性。4) 压缩率：需要根据具体数据集和任务选择合适的压缩率，以平衡计算效率和模型性能。

📊 实验亮点

实验结果表明，StructComp在多个数据集上都取得了显著的性能提升。例如，在某些数据集上，StructComp可以将训练时间缩短5倍以上，同时还能提高模型准确率。与传统的GCL模型和可扩展的训练方法相比，StructComp在时间和内存消耗方面都具有明显的优势。

🎯 应用场景

StructComp可应用于各种需要处理大规模图数据的场景，例如社交网络分析、推荐系统、生物信息学等。通过加速图对比学习的训练过程，StructComp可以帮助研究人员和工程师更高效地训练图神经网络模型，从而更好地理解和利用图数据。该方法在工业界具有广泛的应用前景，例如可以用于构建更高效的推荐系统和社交网络分析平台。

📄 摘要（原文）

Graph contrastive learning (GCL) has become a powerful tool for learning graph data, but its scalability remains a significant challenge. In this work, we propose a simple yet effective training framework called Structural Compression (StructComp) to address this issue. Inspired by a sparse low-rank approximation on the diffusion matrix, StructComp trains the encoder with the compressed nodes. This allows the encoder not to perform any message passing during the training stage, and significantly reduces the number of sample pairs in the contrastive loss. We theoretically prove that the original GCL loss can be approximated with the contrastive loss computed by StructComp. Moreover, StructComp can be regarded as an additional regularization term for GCL models, resulting in a more robust encoder. Empirical studies on various datasets show that StructComp greatly reduces the time and memory consumption while improving model performance compared to the vanilla GCL models and scalable training methods.