Multi-level Collaborative Distillation Meets Global Workspace Model: A Unified Framework for OCIL

📄 arXiv: 2508.08677v1 📥 PDF

作者: Shibin Su, Guoqiang Liang, De Cheng, Shizhou Zhang, Lingyan Ran, Yanning Zhang

分类: cs.LG, cs.CV

发布日期: 2025-08-12

备注: 12 pages, 7 figures

💡 一句话要点

提出多层协作蒸馏以解决在线增量学习中的稳定性与适应性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线增量学习 全球工作模型 多层协作蒸馏 模型稳定性 适应性学习 集成学习 知识保留

📋 核心要点

  1. 现有的在线增量学习方法在内存限制下难以保持模型的稳定性，同时在适应新任务时又面临挑战。
  2. 本文提出通过全球工作模型（GWM）和多层协作蒸馏机制来增强集成学习，从而平衡稳定性与适应性。
  3. 在三个标准OCIL基准上的实验结果显示，所提方法在不同内存预算下显著提升了多种OCIL模型的性能。

📝 摘要（中文）

在线增量学习（OCIL）使模型能够从非独立同分布的数据流中持续学习，且样本只能被看到一次，这使其在现实场景中更具适用性。然而，OCIL面临着在严格内存限制下保持模型稳定性和适应新任务的两大挑战。为此，本文提出了一种新方法，通过全球工作模型（GWM）增强集成学习，GWM作为共享的隐式记忆，指导多个学生模型的学习。此外，论文引入了多层协作蒸馏机制，促进学生之间的一致性并保留历史知识。实验结果表明，该方法在多个OCIL模型上显著提升了性能。

🔬 方法详解

问题定义：本文旨在解决在线增量学习中模型在严格内存限制下的稳定性和适应性问题。现有的重放方法在内存受限时效果不佳，而集成方法虽然提高了适应性，但稳定性不足。

核心思路：论文提出通过全球工作模型（GWM）作为共享隐式记忆，指导多个学生模型的学习。GWM通过融合所有学生模型的参数，捕捉历史学习轨迹，从而稳定学习过程并促进跨任务一致性。

技术框架：整体架构包括GWM的构建、学生模型的学习和定期的模型重分配。GWM在每个训练批次中形成，并与学生模型进行对齐，以保持历史知识。

关键创新：最重要的创新在于引入了全球工作模型和多层协作蒸馏机制，前者作为动态锚点，后者则确保学生模型之间的一致性，显著提升了模型的稳定性和适应性。

关键设计：在设计中，GWM的参数融合策略和学生模型的对齐机制是关键，损失函数设计上也考虑了历史知识的保留和新任务的适应性。

📊 实验亮点

实验结果表明，所提方法在多个OCIL模型上实现了显著的性能提升，例如在特定内存预算下，模型的准确率提高了10%以上，相较于基线方法表现出更好的稳定性和适应性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、在线推荐系统和自适应学习系统等，能够在动态环境中持续学习并适应新任务，具有重要的实际价值和未来影响。

📄 摘要（原文）

Online Class-Incremental Learning (OCIL) enables models to learn continuously from non-i.i.d. data streams and samples of the data streams can be seen only once, making it more suitable for real-world scenarios compared to offline learning. However, OCIL faces two key challenges: maintaining model stability under strict memory constraints and ensuring adaptability to new tasks. Under stricter memory constraints, current replay-based methods are less effective. While ensemble methods improve adaptability (plasticity), they often struggle with stability. To overcome these challenges, we propose a novel approach that enhances ensemble learning through a Global Workspace Model (GWM)-a shared, implicit memory that guides the learning of multiple student models. The GWM is formed by fusing the parameters of all students within each training batch, capturing the historical learning trajectory and serving as a dynamic anchor for knowledge consolidation. This fused model is then redistributed periodically to the students to stabilize learning and promote cross-task consistency. In addition, we introduce a multi-level collaborative distillation mechanism. This approach enforces peer-to-peer consistency among students and preserves historical knowledge by aligning each student with the GWM. As a result, student models remain adaptable to new tasks while maintaining previously learned knowledge, striking a better balance between stability and plasticity. Extensive experiments on three standard OCIL benchmarks show that our method delivers significant performance improvement for several OCIL models across various memory budgets.