Decoupled and Distilled: Task-Adaptive LoRA-Teachers with Ensemble Knowledge Transfer for Few-Shot Class-Incremental Learning

📄 arXiv: 2609.39390v1 📥 PDF

作者: Hongwei Zhao, Rui Liu, Yansong Liu, Zhiyuan Zou, Yong Chen

分类: cs.LG

发布日期: 2026-09-30

备注: Accepted manuscript; 46 pages, supplementary material

DOI: 10.1016/j.neucom.2026.135200

💡 一句话要点

提出TALON框架以解决少样本类增量学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 少样本学习 类增量学习 知识蒸馏 LoRA 模型压缩 推理效率 计算机视觉 深度学习

📋 核心要点

  1. 现有的类增量学习方法在数据稀缺情况下，基于梯度的约束往往不可靠，且多专家方法增加了推理时间成本。
  2. 本文提出的TALON框架为每个增量任务分配独立的LoRA教师，利用集成知识转移将多个教师蒸馏为统一的LoRA学生。
  3. TALON在CUB200、CIFAR100、ImageNet-R和miniImageNet等四个基准上，平均准确率分别为86.68%、90.39%、78.38%和96.34%，且推理时间减少了41.70%。

📝 摘要（中文）

少样本类增量学习（FSCIL）旨在从极少样本中学习新类别，同时保留对已学类别的知识。尽管基于参数高效的微调方法在类增量学习中展现出潜力，但在数据稀缺的情况下，严格的基于梯度的约束可能不可靠，而多专家方法则会增加推理时间成本。本文提出了TALON（任务自适应LoRA教师与集成知识转移），该框架在推理时高效地为每个增量任务分配独立的LoRA教师进行任务特定的表示学习，并通过集成知识转移将多个冻结的教师蒸馏为统一的LoRA学生，从而消除了运行时模块选择或生成的需求。通过语义引导的蒸馏策略，根据特征空间相似性加权教师贡献，以减轻灾难性遗忘和过拟合。实验结果表明，TALON在四个FSCIL基准上实现了可比或更好的平均准确率。

🔬 方法详解

问题定义：本文旨在解决少样本类增量学习（FSCIL）中的知识保留与新类别学习之间的矛盾。现有方法在数据稀缺时表现不佳，且多专家模型在推理时增加了计算负担。

核心思路：TALON框架通过为每个增量任务分配独立的LoRA教师，进行任务特定的表示学习，并通过集成知识转移将多个教师蒸馏为一个LoRA学生，从而提高了推理效率和模型性能。

技术框架：TALON的整体架构包括任务自适应的LoRA教师、集成知识转移模块和最终的LoRA学生。每个任务都有独立的教师，蒸馏过程通过语义引导策略加权教师的贡献。

关键创新：TALON的主要创新在于通过集成知识转移消除了运行时模块选择的需求，并采用语义引导的蒸馏策略来减轻灾难性遗忘和过拟合，这与传统的单一教师模型有本质区别。

关键设计：在设计中，TALON使用了特征空间相似性来加权教师的贡献，确保了蒸馏过程的有效性。此外，框架在参数使用上高效，最多减少了33倍的部署参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个FSCIL基准上，TALON框架的平均准确率分别为CUB200的86.68%、CIFAR100的90.39%、ImageNet-R的78.38%和miniImageNet的96.34%。同时，推理时间平均减少至26.7秒，相较于ASP减少了41.70%。

🎯 应用场景

TALON框架在计算机视觉、机器人和智能监控等领域具有广泛的应用潜力，尤其是在需要快速适应新类别的场景中。其高效的推理能力和较低的计算成本使其适合在资源受限的环境中部署，未来可能推动更多实时学习系统的发展。

📄 摘要（原文）

Few-Shot Class-Incremental Learning (FSCIL) addresses the challenge of learning new classes from very limited samples while retaining knowledge of previously learned ones. Although parameter-efficient fine-tuning methods with pre-trained models show promise for class-incremental learning, strict gradient-based constraints can be unreliable under severe data scarcity, while multi-expert approaches can impose substantial inference-time costs. We propose TALON (Task-Adaptive LoRA-Teachers with Ensemble Knowledge Transfer), an inference-efficient FSCIL framework. TALON dynamically allocates an independent LoRA-Teacher to each incremental task for task-specific representation learning, then distills multiple frozen teachers into a unified LoRA-Student through Ensemble Knowledge Transfer, eliminating runtime module selection or generation. A semantic-guided distillation strategy weights teacher contributions by feature-space similarity to mitigate catastrophic forgetting and overfitting. Across three class-order runs, TALON achieves comparable or better mean average accuracy across four FSCIL benchmarks, obtaining 86.68 +/- 1.22% on CUB200, 90.39 +/- 0.27% on CIFAR100, 78.38 +/- 0.94% on ImageNet-R, and 96.34 +/- 0.33% on miniImageNet. TALON uses up to 33x fewer deployment parameters and reduces average inference time per task to 26.7 s, a 41.70% reduction relative to ASP.