Knowledge Adaptation Network for Few-Shot Class-Incremental Learning

📄 arXiv: 2409.11770v1 📥 PDF

作者: Ye Wang, Yaxiong Wang, Guoshuai Zhao, Xueming Qian

分类: cs.CV, cs.AI

发布日期: 2024-09-18

备注: 13 pages;6 figures

💡 一句话要点

提出知识自适应网络KANet，解决少样本类增量学习中的表示偏差问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 少样本学习 增量学习 知识迁移 预训练模型 视觉-语言模型

📋 核心要点

  1. 现有FSCIL方法简单使用均值特征初始化分类器权重，忽略了新类别表示的弱性和偏差性。
  2. KANet利用CLIP模型提供通用表示，并通过知识适配器KA模块融合数据特定知识，增强实例表示。
  3. 通过增量伪 эпизод学习IPEL机制，KANet能够将从基类学习到的知识迁移到新类别，提升泛化能力。

📝 摘要（中文）

本文提出了一种知识自适应网络（KANet）用于解决少样本类增量学习（FSCIL）问题。FSCIL旨在利用少量样本增量地识别新类别，同时保持在先前学习类别上的性能。现有方法通常使用均值特征初始化分类器权重，但由于新类别的表示较弱且有偏差，这种策略并非最优。KANet从两个方面解决这个问题：首先，利用预训练的CLIP模型作为网络基础，为每个类别提供通用的表示；其次，提出知识适配器（KA）模块，从训练数据中提取特定于数据的知识，并将其融合到通用表示中，以生成更可靠和全面的实例表示。此外，通过模拟实际的FSCIL过程，提出增量伪 эпизод学习（IPEL）机制，以调整从基类学习到的知识到即将到来的类别。KANet在CIFAR100、CUB200和ImageNet-R等数据集上取得了有竞争力的性能。

🔬 方法详解

问题定义：少样本类增量学习（FSCIL）旨在不断学习新的类别，同时仅有少量样本可用，并且需要保持在之前学习过的类别上的性能。现有方法，特别是基于原型进化分类器的方法，通常直接使用均值特征初始化新类别的分类器权重。然而，由于新类别的数据量少，其特征表示往往较弱且存在偏差，导致分类器性能不佳。

核心思路：本文的核心思路是利用预训练的视觉-语言模型（如CLIP）的强大泛化能力，为每个类别提供一个通用的、高质量的表示。然后，通过一个知识适配器（KA）模块，将训练数据中特定于该类别的信息融合到通用表示中，从而生成更可靠和全面的实例表示。此外，为了更好地适应增量学习的场景，还提出了增量伪 эпизод学习（IPEL）机制。

技术框架：KANet的整体框架包含以下几个主要模块：1) CLIP特征提取器：利用预训练的CLIP模型提取图像的通用特征表示。2) 知识适配器（KA）：KA模块接收CLIP提取的特征和训练数据，学习数据特定的知识，并将其融合到CLIP特征中，生成增强的实例表示。3) 分类器：使用增强的实例表示训练分类器，用于识别不同的类别。4) 增量伪 эпизод学习（IPEL）：通过模拟真实的FSCIL过程，生成伪 эпизоды，并利用这些伪 эпизоды微调模型，使其更好地适应增量学习的场景。

关键创新：KANet的关键创新在于：1) 利用预训练的CLIP模型作为网络的基础，从而获得强大的泛化能力和高质量的特征表示。2) 提出知识适配器（KA）模块，能够有效地将数据特定的知识融合到通用表示中，从而提高实例表示的可靠性和全面性。3) 提出增量伪 эпизод学习（IPEL）机制，能够有效地模拟真实的FSCIL过程，并利用这些伪 эпизоды微调模型，使其更好地适应增量学习的场景。与现有方法相比，KANet能够更好地利用预训练模型的知识，并有效地适应增量学习的场景。

关键设计：知识适配器（KA）模块的具体结构未知，但推测其可能包含注意力机制或Transformer结构，用于学习数据特定的知识并将其融合到CLIP特征中。增量伪 эпизод学习（IPEL）机制的具体实现方式未知，但推测其可能通过随机采样已学习的类别和少量新类别的样本，构建伪 эпизоды，并利用这些伪 эпизоды训练模型。损失函数未知，但推测其可能包含分类损失和知识蒸馏损失，用于保持在之前学习过的类别上的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

KANet在CIFAR100、CUB200和ImageNet-R等多个数据集上取得了有竞争力的性能，表明其在少样本类增量学习任务上的有效性。具体性能数据未知，但摘要中强调了“competitive performance”，说明KANet至少达到了与现有最佳方法相当的水平，甚至可能有所超越。通过引入CLIP模型和知识适配器，KANet能够更好地利用预训练知识，并有效地适应增量学习场景。

🎯 应用场景

KANet在少样本类增量学习方面表现出色，具有广泛的应用前景，例如：智能监控系统可以通过少量样本快速学习新出现的异常行为；医疗诊断系统可以利用少量病例学习新的疾病类型；自动驾驶系统可以快速适应新的交通场景和物体。该研究有助于降低模型训练成本，提高模型的适应性和泛化能力。

📄 摘要（原文）

Few-shot class-incremental learning (FSCIL) aims to incrementally recognize new classes using a few samples while maintaining the performance on previously learned classes. One of the effective methods to solve this challenge is to construct prototypical evolution classifiers. Despite the advancement achieved by most existing methods, the classifier weights are simply initialized using mean features. Because representations for new classes are weak and biased, we argue such a strategy is suboptimal. In this paper, we tackle this issue from two aspects. Firstly, thanks to the development of foundation models, we employ a foundation model, the CLIP, as the network pedestal to provide a general representation for each class. Secondly, to generate a more reliable and comprehensive instance representation, we propose a Knowledge Adapter (KA) module that summarizes the data-specific knowledge from training data and fuses it into the general representation. Additionally, to tune the knowledge learned from the base classes to the upcoming classes, we propose a mechanism of Incremental Pseudo Episode Learning (IPEL) by simulating the actual FSCIL. Taken together, our proposed method, dubbed as Knowledge Adaptation Network (KANet), achieves competitive performance on a wide range of datasets, including CIFAR100, CUB200, and ImageNet-R.