Unsupervised Continual Clustering via Forward-Backward Knowledge Distillation

📄 arXiv: 2606.07474v1 📥 PDF

作者: Mohammadreza Sadeghi, Sareh Soleimani, Zihan Wang, Narges Armanfard

分类: cs.LG

发布日期: 2026-06-05

备注: Accepted at ECML PKDD 2026 (Research Track). arXiv admin note: substantial text overlap with arXiv:2405.19234

💡 一句话要点

提出无监督持续聚类方法以解决灾难性遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无监督学习 持续学习 知识蒸馏 聚类 灾难性遗忘 深度学习 在线学习

📋 核心要点

  1. 现有无监督持续学习方法面临灾难性遗忘问题，尤其在缺乏标签的情况下更为严重。
  2. 本文提出前向-后向知识蒸馏（FBCC），通过持续教师网络和轻量级学生网络实现无监督持续聚类。
  3. 实验结果显示，FBCC在四个基准数据集上均优于现有持续学习基线，聚类准确性显著提升。

📝 摘要（中文）

无监督持续学习（UCL）旨在使神经网络能够在没有标签或访问过去数据的情况下学习顺序任务。该领域的主要挑战是灾难性遗忘，即模型在学习新任务时忘记之前学习的任务。现有的缓解策略如知识蒸馏和重放缓冲区常常引发内存和隐私问题。为填补这一空白，本文提出了无监督持续聚类（UCC）和持续聚类的前向-后向知识蒸馏（FBCC）。FBCC通过一个持续教师网络和轻量级任务特定学生，采用双阶段的前向-后向蒸馏过程，在不存储过去数据的情况下，学习新聚类并保留先前发现的聚类结构。实验表明，FBCC在聚类准确性上显著优于现有的持续学习基线，同时显著减少了灾难性遗忘。

🔬 方法详解

问题定义：本文旨在解决无监督持续学习中的灾难性遗忘问题，现有方法在缺乏标签的情况下难以有效保留先前学习的任务信息。

核心思路：提出前向-后向知识蒸馏（FBCC），通过持续教师网络学习新聚类，同时保留已有聚类结构，避免存储过去数据。

技术框架：FBCC的整体架构包括一个持续教师网络和多个轻量级任务特定学生网络，采用双阶段的前向和后向蒸馏过程。教师网络负责生成聚类投影，而学生网络则学习这些聚类信息。

关键创新：FBCC是无监督持续聚类的开创性方法，通过前向-后向蒸馏机制，有效解决了传统方法中的灾难性遗忘问题，且无需存储历史数据。

关键设计：FBCC的设计包括聚类投影模块、轻量级学生网络的结构设计，以及损失函数的设置，确保教师网络与学生网络之间的有效知识传递。具体参数设置和网络结构细节在实验部分进行了详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FBCC在四个基准数据集上均显著优于现有的持续学习基线，聚类准确性提升幅度达到10%以上，同时有效减少了灾难性遗忘现象，展示了其在无监督持续学习中的优越性。

🎯 应用场景

该研究的潜在应用领域包括在线学习、智能监控和动态数据分析等场景，能够在不依赖标签的情况下持续学习新任务，具有重要的实际价值。未来，FBCC方法可能推动无监督学习在更多复杂环境中的应用，提升智能系统的自适应能力。

📄 摘要（原文）

Unsupervised Continual Learning (UCL) aims to enable neural networks to learn sequential tasks without labels or access to past data. A major challenge in this setting is Catastrophic Forgetting, where models forget previously learned tasks upon learning new ones. This challenge is amplified in UCL due to the absence of labels to guide learning and memory retention. Existing mitigation strategies, such as knowledge distillation and replay buffers, often raise memory and privacy concerns. Moreover, current UCL methods largely overlook clustering-specific objectives. To fill this gap, we introduce Unsupervised Continual Clustering (UCC) and propose Forward-Backward Knowledge Distillation for Continual Clustering (FBCC). FBCC employs a continual teacher network with a clustering projector and lightweight task-specific students. Through a dual-phase forward-backward distillation process, the teacher learns new clusters while preserving previously discovered cluster structure without storing past data. FBCC represents a pioneering approach to UCC, demonstrating improved clustering performance across sequential tasks. Experiments on four benchmark datasets demonstrate that FBCC consistently outperforms existing continual learning baselines in clustering accuracy while significantly reducing catastrophic forgetting.