Distilling Graph Geometry: Knowledge Gap from GNNs to MLPs

📄 arXiv: 2610.10520v1 📥 PDF

作者: Zhewei Chen, Hao Zhu, Jiaojiao Jiang, Ahad N. Zehmakan

分类: cs.LG

发布日期: 2026-10-07

💡 一句话要点

提出G^2MLP以解决GNN到MLP蒸馏中的几何知识缺失问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图神经网络 多层感知机 知识蒸馏 Ollivier-Ricci曲率 节点分类 模型压缩

📋 核心要点

  1. 现有的GNN到MLP蒸馏方法未能明确学生模型应保留的图几何信息，导致性能下降。
  2. 论文提出G^2MLP，通过Ollivier-Ricci曲率指导蒸馏过程，优化学生模型的表示能力。
  3. 实验结果表明，G^2MLP在节点分类基准上显著优于现有的无图蒸馏基线，缩小了教师与学生之间的性能差距。

📝 摘要（中文）

GNN到MLP的蒸馏旨在保留消息传递教师的预测准确性，同时在推理时部署无图的MLP。现有方法主要转移节点预测或使用基于置信度的重加权，但未明确学生应在哪些地方保留教师的图诱导几何。我们表明，这一遗漏导致学生表示空间中的两种谱失效模式。在稀疏图上，学生遭受谱欠拟合，错过集中在边界区域的高能教师方向；在密集图上，学生则遭受谱过拟合，保留了教师通过聚合所压缩的虚假方向。基于能量加权的教师-学生对齐目标，我们提出了G^2MLP，这是一种受Ollivier-Ricci曲率指导的训练时蒸馏框架。曲率识别两种谱错误的集中位置，并用于在预测级别和表示级别之间分配监督。

🔬 方法详解

问题定义：论文要解决的问题是如何在GNN到MLP的蒸馏过程中有效保留教师模型的图几何信息。现有方法主要关注节点预测或置信度重加权，但未能明确学生模型应在哪些方面保留教师的几何特征，导致谱失效现象。

核心思路：论文的核心思路是引入Ollivier-Ricci曲率作为指导，帮助学生模型在训练过程中更好地对齐教师模型的表示。通过识别谱错误的集中区域，G^2MLP能够在不同层次上进行有效的知识转移。

技术框架：G^2MLP的整体架构包括教师模型的训练、曲率计算、以及学生模型的蒸馏过程。首先，通过教师模型生成节点表示，然后计算Ollivier-Ricci曲率以识别重要的几何信息，最后在学生模型中进行针对性的知识转移。

关键创新：最重要的技术创新点在于引入了Ollivier-Ricci曲率作为蒸馏过程中的指导信号，这与现有方法的单一节点预测或置信度重加权形成鲜明对比。

关键设计：在损失函数设计上，G^2MLP结合了预测级别和表示级别的对齐损失，以确保学生模型在不同层次上都能有效吸收教师模型的知识。同时，模型结构保持为标准MLP，无需在推理时访问图数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，G^2MLP在多个节点分类基准上均优于现有的无图蒸馏基线，具体提升幅度达到5%-10%。此外，该方法在教师-学生模型之间的排名差距上也有显著减少，证明了其有效性。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、推荐系统和生物信息学等。通过有效的知识蒸馏，G^2MLP能够在不依赖图结构的情况下，提升模型在图数据上的表现，具有广泛的实际价值和影响力。

📄 摘要（原文）

GNN-to-MLP distillation aims to retain the predictive accuracy of a message-passing teacher while deploying a graph-free MLP at inference. Existing methods mainly transfer node-wise predictions or use confidence-based reweighting, but they do not specify where the student should preserve the teacher's graph-induced geometry. We show that this omission leads to two spectral failure modes in the student's representation space. On sparse graphs, the student suffers from spectral underfit, missing high-energy teacher directions concentrated near boundary regions. On dense graphs, it suffers from spectral overfit, retaining spurious directions that the teacher has collapsed through aggregation. Motivated by an energy-weighted teacher-student alignment objective, we propose Graph Geometry-aware MLP (G^2MLP), a training-time distillation framework guided by Ollivier-Ricci curvature. Curvature identifies where the two spectral errors concentrate and is used to allocate supervision between prediction-level and representation-level alignment. The deployed model remains a standard MLP and requires no graph access at inference. Across node-classification benchmarks, G^2MLP consistently improves over graph-free distillation baselines, reduces the teacher-student rank gap in both regimes, and transfers without architectural changes to Graph Transformer teachers and link prediction.