An Efficient Memory Module for Graph Few-Shot Class-Incremental Learning
作者: Dong Li, Aijia Zhang, Junqi Gao, Biqing Qi
分类: cs.LG, cs.AI
发布日期: 2024-11-11
备注: 16 pages, 6 figures, 38th Conference on Neural Information Processing Systems, 2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出Mecoin，一种高效的图少样本类增量学习内存模块，解决灾难性遗忘问题。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 图神经网络 少样本学习 增量学习 知识蒸馏 灾难性遗忘
📋 核心要点
- 现有图增量学习方法依赖大量标签，且易发生灾难性遗忘，限制了其在实际场景中的应用。
- Mecoin通过结构化内存单元缓存原型，并利用内存构建模块和表示自适应模块高效更新和维护原型。
- 实验结果表明，Mecoin在准确率和遗忘率上优于现有方法，有效缓解了灾难性遗忘问题。
📝 摘要（中文）
本文提出Mecoin，一种高效的图少样本类增量学习方法，旨在解决图表示学习中的灾难性遗忘问题。传统方法依赖大量标签进行节点分类，这在现实应用中不切实际。Mecoin采用结构化内存单元缓存已学习类别的原型，并通过内存构建模块更新新类别的原型。此外，设计了内存表示自适应模块，存储每个类原型相关的概率，减少参数微调的需求，降低遗忘率。当样本匹配其对应的类原型时，从MRaM中检索相关概率。通过图知识蒸馏模块将知识蒸馏回GNN，保持模型的记忆。实验和VC维分析表明，Mecoin在泛化误差方面表现出色，并且不同蒸馏策略对模型性能有影响。与其他相关工作相比，Mecoin在准确率和遗忘率方面表现出优越的性能。代码已公开。
🔬 方法详解
问题定义：图少样本类增量学习（GFSCIL）旨在解决图数据场景下，仅有少量样本且类别逐步增加的学习问题。现有方法通常需要大量的元学习训练样本来构建内存，并对GNN参数进行密集微调，导致高内存消耗和潜在的知识遗忘。因此，如何在资源有限的情况下，高效地学习新知识并保留旧知识，是GFSCIL面临的关键挑战。
核心思路：Mecoin的核心思路是构建一个高效的外部记忆模块，用于存储和更新已学习类别的原型表示，并利用知识蒸馏技术将记忆中的知识迁移回GNN模型，从而缓解灾难性遗忘。通过结构化的内存单元和自适应的表示方法，Mecoin能够更有效地利用有限的样本进行学习。
技术框架：Mecoin主要包含以下几个模块：1) 结构化内存单元（SMU）：用于缓存已学习类别的原型表示。2) 内存构建模块（MCM）：用于更新新类别的原型，通过节点和缓存原型之间的交互来实现。3) 内存表示自适应模块（MRaM）：存储与每个类原型相关的概率，减少参数微调的需求。4) 图知识蒸馏模块（GKDM）：将知识从内存蒸馏回GNN，保持模型的记忆。整体流程是，当新类别出现时，MCM更新SMU中的原型，MRaM存储相关概率，然后GKDM将知识蒸馏回GNN。
关键创新：Mecoin的关键创新在于其高效的内存管理机制和知识蒸馏策略。传统的元学习方法需要大量的训练样本和参数微调，而Mecoin通过结构化的内存单元和自适应的表示方法，减少了对大量样本的依赖，并降低了参数微调的需求。此外，通过知识蒸馏，Mecoin能够有效地将记忆中的知识迁移回GNN模型，从而缓解灾难性遗忘。
关键设计：Mecoin的关键设计包括：1) SMU的结构：SMU采用结构化的方式组织原型，以便于快速检索和更新。2) MCM的更新策略：MCM通过节点和缓存原型之间的交互来更新原型，具体的交互方式未知。3) MRaM的概率表示：MRaM存储与每个类原型相关的概率，这些概率用于指导知识蒸馏过程。4) GKDM的蒸馏损失函数：GKDM采用知识蒸馏损失函数，鼓励GNN模型的输出接近内存中存储的知识。
🖼️ 关键图片
📊 实验亮点
Mecoin在图少样本类增量学习任务上取得了显著的性能提升。与现有方法相比，Mecoin在准确率方面表现出优越的性能，并且有效降低了遗忘率。具体的性能数据和对比基线在论文中进行了详细的展示。实验结果表明，Mecoin能够有效地缓解灾难性遗忘问题，并在新类别学习方面表现出色。代码已开源，方便研究人员复现和进一步研究。
🎯 应用场景
Mecoin适用于需要处理动态图数据且标签稀缺的场景，例如社交网络分析、推荐系统、生物信息学等。在这些领域，图结构会随着时间演变，新的节点和类别不断出现，而标注数据往往非常有限。Mecoin能够有效地学习新知识并保留旧知识，从而提高模型在这些场景下的性能和鲁棒性。未来，Mecoin可以进一步扩展到更复杂的图结构和更广泛的应用领域。
📄 摘要（原文）
Incremental graph learning has gained significant attention for its ability to address the catastrophic forgetting problem in graph representation learning. However, traditional methods often rely on a large number of labels for node classification, which is impractical in real-world applications. This makes few-shot incremental learning on graphs a pressing need. Current methods typically require extensive training samples from meta-learning to build memory and perform intensive fine-tuning of GNN parameters, leading to high memory consumption and potential loss of previously learned knowledge. To tackle these challenges, we introduce Mecoin, an efficient method for building and maintaining memory. Mecoin employs Structured Memory Units to cache prototypes of learned categories, as well as Memory Construction Modules to update these prototypes for new categories through interactions between the nodes and the cached prototypes. Additionally, we have designed a Memory Representation Adaptation Module to store probabilities associated with each class prototype, reducing the need for parameter fine-tuning and lowering the forgetting rate. When a sample matches its corresponding class prototype, the relevant probabilities are retrieved from the MRaM. Knowledge is then distilled back into the GNN through a Graph Knowledge Distillation Module, preserving the model's memory. We analyze the effectiveness of Mecoin in terms of generalization error and explore the impact of different distillation strategies on model performance through experiments and VC-dimension analysis. Compared to other related works, Mecoin shows superior performance in accuracy and forgetting rate. Our code is publicly available on the https://github.com/Arvin0313/Mecoin-GFSCIL.git .