MAEM: Mitigating Recency Bias via a Replay-Free, Capacity-Controlled Dynamic Mixture of Experts for Class-Incremental Graph Learning

📄 arXiv: 2610.20238v1 📥 PDF

作者: Junlin Chen, Wenhao Wang, Junchao Xu, Qingsong Yao, Fei Xue, Li Sun, Xiao Wang, Ruijie Wang

分类: cs.LG, stat.ML

发布日期: 2026-10-14

💡 一句话要点

提出MAEM框架以解决图学习中的近期偏见问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图神经网络 类增量学习 动态专家混合 近期偏见 无重放学习 图学习 自编码器

📋 核心要点

  1. 现有的类增量图学习方法在处理新类时容易受到近期偏见的影响，导致预测结果偏向最近学习的类。
  2. MAEM框架通过为每个新会话训练专用专家，并使用掩码自编码器进行无任务ID路由，有效减轻了近期偏见。
  3. 在四个类增量图基准上，MAEM显著提升了性能，超越了多种持续图学习的基线方法。

📝 摘要（中文）

图神经网络（GNN）在图结构数据上表现优异，但在类增量图学习中面临灾难性遗忘的问题，尤其是近期偏见。MAEM是一种无重放、容量控制的动态专家混合框架，通过简化图卷积（SGC）构建表示，为每个新会话训练专用专家，并在测试时通过最低重构误差进行路由，从而减少近期偏见。该方法在四个类增量图基准上表现优异，超越了强大的持续图学习基线，同时在严格的无重放学习下保持模型容量受限。

🔬 方法详解

问题定义：本论文旨在解决类增量图学习中的灾难性遗忘和近期偏见问题。现有方法通常依赖于任务增量设置，无法在没有任务标识的情况下有效选择专家，导致性能下降。

核心思路：MAEM框架通过动态混合专家的方法，训练每个新会话的专用专家，并在测试时使用重构误差进行路由，从而避免了对近期知识的偏向。

技术框架：MAEM的整体架构包括简化图卷积（SGC）用于表示构建，专家的训练与冻结，掩码自编码器（MAE）用于无任务ID路由，以及在专家池达到固定容量时的合并与蒸馏过程。

关键创新：MAEM的主要创新在于其无重放的动态专家混合机制，能够在不存储历史图数据的情况下有效保护先前知识，并通过合并不常用的专家来控制模型容量。

关键设计：在设计上，MAEM使用了掩码自编码器进行路由，采用了Git Re-Basin对不常用专家进行合并，并通过从MAE分布中合成的拓扑感知伪数据进行蒸馏，确保了模型的高效性与稳定性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在四个类增量图基准测试中，MAEM显著减轻了近期偏见，相较于强大的持续图学习基线，性能提升幅度达到XX%（具体数据需根据实验结果填写），同时在严格的无重放学习条件下保持了模型容量的有效控制。

🎯 应用场景

MAEM框架在类增量图学习中的应用潜力巨大，适用于社交网络分析、推荐系统、知识图谱等领域。通过有效减轻近期偏见，该方法能够提升模型在动态环境下的学习能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Graph Neural Networks (GNNs) excel on graph-structured data but suffer catastrophic forgetting when classes arrive sequentially. In class-incremental graph learning, predictions are often dominated by recently learned classes, causing severe recency bias. Dynamic expansion can isolate knowledge across sessions, but many methods assume task-incremental settings and require task identities at test time to select branches or heads---information unavailable in class-incremental learning. Learnable routers offer an alternative, yet continual fine-tuning the router on new data can bias routing toward recent components. We propose MAEM, a replay-free, capacity-controlled dynamic mixture-of-experts framework for class-incremental graph learning. MAEM builds representations with Simplified Graph Convolution (SGC) and trains a dedicated expert for each new session, then freezes it to protect prior knowledge. For routing without task IDs or a shared trainable router, each expert uses a masked autoencoder (MAE); test nodes are assigned to the expert with the lowest reconstruction error, reducing routing-level recency bias. When the expert pool reaches a fixed capacity, MAEM merges the least-used experts via Git Re-Basin alignment and further distills them into a fused expert using topology-aware pseudo data synthesized from MAE distributions (DeepInversion-style), without storing or revisiting historical graph data. On four class-incremental graph benchmarks, MAEM mitigates recency bias, outperforms strong continual graph learning baselines, and keeps model capacity bounded under strict replay-free learning.