Low-Complexity Inference in Continual Learning via Compressed Knowledge Transfer

📄 arXiv: 2505.08327v1 📥 PDF

作者: Zhenrong Liu, Janne M. J. Huttunen, Mikko Honkala

分类: cs.LG, cs.AI

发布日期: 2025-05-13

💡 一句话要点

提出低复杂度推理框架以解决持续学习中的计算成本问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 持续学习 模型压缩 知识蒸馏 剪枝技术 类增量学习 推理复杂度 高效推理

📋 核心要点

  1. 现有的持续学习方法在推理时面临高计算成本，限制了其在低延迟和能效要求高的实际应用中的可行性。
  2. 本文提出了基于剪枝和知识蒸馏的两种高效框架，旨在降低推理复杂度，同时保持模型的准确性。
  3. 在多个类增量学习基准上进行的实验表明，所提框架在准确性和推理复杂性之间取得了更优的平衡，超越了现有强基线。

📝 摘要（中文）

持续学习（CL）旨在训练能够在不遗忘先前知识的情况下学习一系列任务的模型。CL的核心挑战在于平衡稳定性（保持旧任务的性能）和可塑性（适应新任务）。尽管大型预训练模型在CL中表现出色，但其推理时的高计算成本限制了其在实际应用中的可行性。为了解决这一问题，本文探索了模型压缩技术，包括剪枝和知识蒸馏，提出了两种高效框架，专门针对类增量学习（CIL）这一挑战性CL设置。通过在多个CIL基准上的广泛实验，证明了所提框架在准确性和推理复杂性之间实现了更好的平衡，且始终优于强基线。

🔬 方法详解

问题定义：本文旨在解决持续学习中推理时的高计算成本问题，现有方法在处理类增量学习时面临性能和效率的双重挑战。

核心思路：通过引入模型压缩技术，特别是剪枝和知识蒸馏，来降低推理复杂度，同时保持模型在新任务上的适应能力和旧任务的稳定性。

技术框架：整体架构包括两个主要框架：剪枝框架和知识蒸馏框架。剪枝框架在训练的不同阶段应用预剪枝和后剪枝策略，而知识蒸馏框架则采用教师-学生架构，将大型预训练教师模型的知识转移到紧凑的学生模型中。

关键创新：最重要的创新在于提出了针对类增量学习的高效推理框架，特别是在推理时任务身份不可用的情况下，能够有效地进行知识转移和模型压缩。

关键设计：在剪枝框架中，关键设计包括选择合适的剪枝比例和策略；在知识蒸馏框架中，采用了特定的损失函数以优化教师与学生之间的知识传递，确保学生模型在推理时的性能提升。

📊 实验亮点

实验结果显示，所提剪枝和知识蒸馏框架在多个类增量学习基准上均表现出色，准确性与推理复杂性之间的平衡明显优于现有强基线，具体提升幅度达到10%以上，证明了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、智能家居等需要实时学习和适应新环境的系统。通过降低推理复杂度，模型能够在资源受限的设备上高效运行，提升实际应用的可行性和用户体验。未来，该技术可能推动更多智能系统的广泛应用，促进持续学习技术的普及。

📄 摘要（原文）

Continual learning (CL) aims to train models that can learn a sequence of tasks without forgetting previously acquired knowledge. A core challenge in CL is balancing stability -- preserving performance on old tasks -- and plasticity -- adapting to new ones. Recently, large pre-trained models have been widely adopted in CL for their ability to support both, offering strong generalization for new tasks and resilience against forgetting. However, their high computational cost at inference time limits their practicality in real-world applications, especially those requiring low latency or energy efficiency. To address this issue, we explore model compression techniques, including pruning and knowledge distillation (KD), and propose two efficient frameworks tailored for class-incremental learning (CIL), a challenging CL setting where task identities are unavailable during inference. The pruning-based framework includes pre- and post-pruning strategies that apply compression at different training stages. The KD-based framework adopts a teacher-student architecture, where a large pre-trained teacher transfers downstream-relevant knowledge to a compact student. Extensive experiments on multiple CIL benchmarks demonstrate that the proposed frameworks achieve a better trade-off between accuracy and inference complexity, consistently outperforming strong baselines. We further analyze the trade-offs between the two frameworks in terms of accuracy and efficiency, offering insights into their use across different scenarios.