GSTAM: Efficient Graph Distillation with Structural Attention-Matching

📄 arXiv: 2408.16871v1 📥 PDF

作者: Arash Rasti-Meymandi, Ahmad Sajedi, Zhaopan Xu, Konstantinos N. Plataniotis

分类: cs.LG, cs.AI

发布日期: 2024-08-29

备注: Accepted at ECCV-DD 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出GSTAM，通过结构注意力匹配实现高效的图分类数据集蒸馏

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图蒸馏 图神经网络 注意力机制 图分类 数据集压缩

📋 核心要点

  1. 现有图蒸馏方法计算成本高昂，且难以捕捉原始图数据的真实分布，限制了其在图分类任务中的应用。
  2. GSTAM通过结构注意力匹配，将GNN在原始图上关注的结构信息提炼到合成图中，从而实现高效的图数据集压缩。
  3. 实验表明，GSTAM在极端压缩率下，性能优于现有方法0.45%到6.5%，证明了其在图分类蒸馏方面的潜力。

📝 摘要（中文）

图蒸馏作为一种将大型图数据集缩减为更小、更易于管理和信息量更大的数据集的解决方案而出现。现有方法主要针对节点分类，涉及计算密集型过程，并且未能捕获完整图数据集的真实分布。为了解决这些问题，我们提出了一种名为“基于结构注意力匹配的图蒸馏”（GSTAM）的新方法，用于压缩图分类数据集。GSTAM利用GNN的注意力图，将原始数据集中的结构信息提炼到合成图中。结构注意力匹配机制利用GNN优先用于分类的输入图区域，有效地将此类信息提炼到合成图中，并提高整体蒸馏性能。综合实验表明，GSTAM优于现有方法，在极端压缩率下实现了0.45%到6.5%的性能提升，突出了其在推进图分类任务蒸馏方面的潜力（代码见https://github.com/arashrasti96/GSTAM）。

🔬 方法详解

问题定义：现有图蒸馏方法，特别是针对图分类任务的蒸馏，存在计算复杂度高、难以保留原始图数据集的完整结构信息等问题。这些方法通常侧重于节点分类，而忽略了图级别的结构特征，导致蒸馏后的数据集在图分类任务上的性能不佳。此外，现有方法未能充分利用GNN在图分类过程中所关注的关键结构信息。

核心思路：GSTAM的核心思路是利用GNN的注意力机制，提取原始图中对分类任务至关重要的结构信息，并将这些信息有效地转移到合成图中。通过结构注意力匹配，GSTAM能够确保合成图保留原始图中最重要的结构特征，从而在压缩数据集的同时，保持甚至提升图分类的性能。

技术框架：GSTAM的整体框架包括以下几个主要步骤：1) 使用GNN在原始图数据集上进行训练；2) 提取GNN在原始图上的注意力图，这些注意力图反映了GNN在分类过程中关注的结构区域；3) 基于提取的注意力图，生成合成图，目标是使合成图的结构能够匹配原始图的注意力分布；4) 使用合成图训练GNN，并评估其在图分类任务上的性能。

关键创新：GSTAM的关键创新在于其结构注意力匹配机制。该机制通过分析GNN在原始图上的注意力分布，确定对分类任务最重要的结构区域，并将这些信息有效地编码到合成图中。与现有方法相比，GSTAM能够更准确地捕捉原始图的结构信息，从而提高蒸馏性能。此外，GSTAM针对图分类任务进行了优化，而现有方法通常侧重于节点分类。

关键设计：GSTAM的关键设计包括：1) 注意力图提取方法：选择合适的GNN模型，并设计有效的注意力提取策略，以准确捕捉GNN在图上的关注区域；2) 结构匹配损失函数：设计损失函数，用于衡量合成图的结构与原始图的注意力分布之间的匹配程度，目标是最小化两者之间的差异；3) 合成图生成策略：设计生成策略，用于生成能够有效匹配原始图注意力分布的合成图，例如，可以通过优化图的邻接矩阵来实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GSTAM在多个图分类数据集上优于现有的图蒸馏方法。在极端压缩率下，GSTAM实现了0.45%到6.5%的性能提升。例如，在某个数据集上，GSTAM在将数据集压缩到原有大小的10%的情况下，仍然能够保持与原始数据集相近的分类精度，甚至略有提升。这些结果证明了GSTAM在图分类任务蒸馏方面的有效性和优越性。

🎯 应用场景

GSTAM可应用于多种需要处理大规模图数据的场景，例如社交网络分析、生物信息学、化学信息学等。通过将大型图数据集压缩为更小的、信息量更大的数据集，GSTAM可以降低计算成本，提高模型训练效率，并促进图数据的共享和利用。未来，GSTAM可以进一步扩展到处理动态图、异构图等更复杂的图结构。

📄 摘要（原文）

Graph distillation has emerged as a solution for reducing large graph datasets to smaller, more manageable, and informative ones. Existing methods primarily target node classification, involve computationally intensive processes, and fail to capture the true distribution of the full graph dataset. To address these issues, we introduce Graph Distillation with Structural Attention Matching (GSTAM), a novel method for condensing graph classification datasets. GSTAM leverages the attention maps of GNNs to distill structural information from the original dataset into synthetic graphs. The structural attention-matching mechanism exploits the areas of the input graph that GNNs prioritize for classification, effectively distilling such information into the synthetic graphs and improving overall distillation performance. Comprehensive experiments demonstrate GSTAM's superiority over existing methods, achieving 0.45% to 6.5% better performance in extreme condensation ratios, highlighting its potential use in advancing distillation for graph classification tasks (Code available at https://github.com/arashrasti96/GSTAM).