Heterophily-Aware Adaptive Knowledge Distillation for Hypergraph Neural Networks

📄 arXiv: 2606.08978v1 📥 PDF

作者: Joohee Cho, David Yoon Suk Kang, Yunyong Ko

分类: cs.LG

发布日期: 2026-06-08

备注: 5 pages, 2 figures, 4 tables

💡 一句话要点

提出HADES以解决超图神经网络中的异质性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 超图神经网络 知识蒸馏 异质性感知 自适应学习 推理加速

📋 核心要点

  1. 现有的超图神经网络在处理异质节点时表现不佳，尤其是在语义多样的超边连接下，导致预测性能下降。
  2. HADES方法通过量化节点的异质性，利用其作为教师知识的可靠性估计，从而在蒸馏过程中动态调节知识传递。
  3. 实验结果表明，HADES在不同的HNN教师和蒸馏目标下均能显著提升学生模型的性能，且推理速度提高了12.3倍。

📝 摘要（中文）

超图知识蒸馏旨在通过轻量级学生模型保留超图神经网络（HNN）教师的预测性能，同时降低推理成本。本文观察到，HNN在通过语义多样的超边连接的异质节点上的预测性能显著降低，表明教师知识在不同节点上的可靠性存在差异。基于此观察，我们提出了HADES，一种异质性感知的自适应蒸馏方法。HADES量化节点的异质性，并利用其作为教师可靠性的估计，以调节蒸馏过程中教师知识的传递。实验证明，HADES在不同HNN教师和蒸馏目标下，始终提高学生模型的性能，且在许多情况下，最终的学生模型超越了教师的预测性能，同时实现了高达12.3倍的推理加速。

🔬 方法详解

问题定义：本文解决的问题是超图神经网络在异质节点上的预测性能不足，现有方法未能有效考虑节点间的异质性，导致知识蒸馏效果不佳。

核心思路：HADES的核心思路是量化节点的异质性，并将其作为教师知识可靠性的估计，以此调节知识的传递过程，从而提高学生模型的性能。

技术框架：HADES的整体架构包括三个主要模块：节点异质性量化模块、教师知识可靠性评估模块和自适应知识传递模块。首先，量化每个节点的异质性，然后根据评估结果调整知识传递的强度。

关键创新：HADES的创新点在于引入了异质性感知机制，使得知识蒸馏过程能够动态适应不同节点的特性，从而显著提升了学生模型的性能。与传统方法相比，HADES更关注节点间的语义差异。

关键设计：在设计上，HADES使用了特定的损失函数来平衡教师知识和学生模型的学习过程，同时在网络结构上采用了适应性调整的策略，以便在不同的蒸馏目标下优化性能。具体的参数设置和网络结构细节在实验部分进行了详细说明。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，HADES在不同的HNN教师和蒸馏目标下，学生模型的性能普遍得到了提升，部分情况下超越了教师模型的预测能力。同时，推理速度提升高达12.3倍，展示了该方法在实际应用中的巨大潜力。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、推荐系统和生物信息学等。通过提高超图神经网络的推理效率和准确性，HADES能够在实际应用中提供更快速和可靠的决策支持，未来可能推动相关领域的技术进步。

📄 摘要（原文）

Hypergraph knowledge distillation aims to retain the predictive performance of a hypergraph neural network (HNN) teacher while reducing inference costs through a lightweight student model. In this work, we observe that HNNs exhibit substantially lower prediction performance on heterophilic nodes connected through semantically diverse hyperedges, indicating that the reliability of teacher knowledge varies across nodes. Motivated by this observation, we propose HADES, a heterophily-aware adaptive distillation method for hypergraph neural networks. HADES quantifies node heterophily and leverages it as an estimate of teacher reliability to modulate the transfer of teacher knowledge during distillation. Experimental results on real-world hypergraphs demonstrate that HADES consistently improves student performance across different HNN teachers and distillation objectives. In many cases, the resulting student models surpass the predictive performance of their teachers while achieving up to 12.3 times faster inference.