Foundation Models as Class-Incremental Learners for Dermatological Image Classification

📄 arXiv: 2507.14050v1 📥 PDF

作者: Mohamed Elkhayat, Mohamed Mahmoud, Jamil Fayyad, Nourhan Bayasi

分类: cs.CV

发布日期: 2025-07-18

备注: Accepted at the MICCAI EMERGE 2025 workshop

💡 一句话要点

利用皮肤病灶预训练的Foundation Model进行皮肤病图像的增量学习

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 类别增量学习 Foundation Model 皮肤病图像分类 持续学习 医学图像分析

📋 核心要点

  1. 类别增量学习的关键挑战在于如何在学习新类别的同时避免遗忘已学习的类别，即灾难性遗忘问题。
  2. 本文提出了一种简单有效的方法，即冻结预训练的Foundation Model的backbone，并增量训练一个轻量级的MLP分类器。
  3. 实验结果表明，该方法在皮肤病图像分类的类别增量学习任务中取得了state-of-the-art的性能，且有效避免了灾难性遗忘。

📝 摘要（中文）

本文研究了在皮肤病学图像分类中，如何利用预训练的Foundation Model (FM) 进行类别增量学习 (CIL)。CIL旨在不断学习新类别，同时不遗忘先前学习的知识。大规模数据集上预训练的FM提供了丰富的、可迁移的表征，为CIL提供了新的机会。本文系统地评估了在大型皮肤病灶数据集上预训练的冻结FM在皮肤病分类中的CIL性能。提出了一种简单而有效的方法，其中backbone保持冻结，并为每个任务增量地训练一个轻量级的MLP。这种设置实现了最先进的性能，且没有灾难性遗忘，优于基于正则化、重放和架构的方法。为了进一步探索冻结FM的能力，我们研究了使用最近邻均值分类器和从其嵌入导出的原型进行零训练的场景。通过广泛的消融研究，证明了这种基于原型的变体也能取得有竞争力的结果。研究结果突出了冻结FM在皮肤病学持续学习中的优势，并支持其在现实世界医学应用中的更广泛采用。代码和数据集已公开。

🔬 方法详解

问题定义：论文旨在解决皮肤病图像分类中的类别增量学习问题。现有的增量学习方法，如正则化、重放和架构调整等，在处理医学图像时，往往难以在保持已有知识的同时有效学习新类别，容易发生灾难性遗忘。

核心思路：论文的核心思路是利用预训练的Foundation Model (FM) 提取图像特征，并冻结FM的backbone，仅训练一个轻量级的MLP分类器。这样可以利用FM强大的表征能力，同时避免修改FM的参数而导致的灾难性遗忘。

技术框架：整体框架包括两个主要阶段：1) 特征提取阶段：使用预训练的FM（例如在皮肤病灶数据集上预训练的模型）提取输入图像的特征向量。FM的backbone参数在整个增量学习过程中保持冻结。2) 分类器训练阶段：对于每个新的类别增量学习任务，训练一个轻量级的MLP分类器，该分类器以FM提取的特征向量作为输入，输出对应类别的概率。

关键创新：最重要的技术创新点在于将预训练的Foundation Model与增量学习相结合，并采用冻结backbone的策略。这种方法充分利用了FM强大的表征能力，同时避免了灾难性遗忘问题，简化了增量学习的训练过程。此外，论文还探索了基于原型的方法，进一步验证了FM在增量学习中的潜力。

关键设计：关键设计包括：1) 选择合适的预训练FM，例如在大型皮肤病灶数据集上预训练的模型。2) 设计轻量级的MLP分类器，避免过拟合。3) 采用合适的损失函数，例如交叉熵损失函数，用于训练MLP分类器。4) 探索基于最近邻均值分类器和原型的方法，用于零训练场景。

📊 实验亮点

该研究表明，冻结的Foundation Model在皮肤病图像分类的类别增量学习中表现出色，无需复杂的正则化、重放或架构调整。与现有方法相比，该方法在避免灾难性遗忘的同时，取得了state-of-the-art的性能。此外，基于原型的零训练方法也取得了有竞争力的结果，进一步验证了FM在增量学习中的潜力。

🎯 应用场景

该研究成果可应用于皮肤病辅助诊断系统，帮助医生更准确、高效地诊断皮肤疾病。通过增量学习，系统可以不断学习新的皮肤病类别，提高诊断的全面性和准确性。此外，该方法还可以推广到其他医学图像分类任务中，具有广泛的应用前景。

📄 摘要（原文）

Class-Incremental Learning (CIL) aims to learn new classes over time without forgetting previously acquired knowledge. The emergence of foundation models (FM) pretrained on large datasets presents new opportunities for CIL by offering rich, transferable representations. However, their potential for enabling incremental learning in dermatology remains largely unexplored. In this paper, we systematically evaluate frozen FMs pretrained on large-scale skin lesion datasets for CIL in dermatological disease classification. We propose a simple yet effective approach where the backbone remains frozen, and a lightweight MLP is trained incrementally for each task. This setup achieves state-of-the-art performance without forgetting, outperforming regularization, replay, and architecture based methods. To further explore the capabilities of frozen FMs, we examine zero training scenarios using nearest mean classifiers with prototypes derived from their embeddings. Through extensive ablation studies, we demonstrate that this prototype based variant can also achieve competitive results. Our findings highlight the strength of frozen FMs for continual learning in dermatology and support their broader adoption in real world medical applications. Our code and datasets are available here.