Quantum-Gated Task-interaction Knowledge Distillation for Pre-trained Model-based Class-Incremental Learning

📄 arXiv: 2604.11112v1 📥 PDF

作者: Linjie Li, Huiyu Xiao, Jiarui Cao, Zhenyu Wu, Yang Ji

分类: cs.LG, cs.CV

发布日期: 2026-04-13

备注: Accepted to CVPR2026

💡 一句话要点

提出量子门控任务交互知识蒸馏框架，解决预训练模型在类增量学习中的灾难性遗忘问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 类增量学习 知识蒸馏 预训练模型 量子门控 任务交互

📋 核心要点

  1. 类增量学习中，预训练模型易受多任务子空间纠缠影响，导致灾难性遗忘，任务路由参数校准不佳或任务级表示固定加剧了这一问题。
  2. 论文提出量子门控任务交互知识蒸馏（QKD）框架，利用量子门控引导任务间知识迁移，动态捕获样本到任务的相关性。
  3. 实验结果表明，QKD框架能有效缓解灾难性遗忘，并在类增量学习任务上取得当前最优的性能。

📝 摘要（中文）

本文提出了一种新颖的量子门控任务交互知识蒸馏（QKD）框架，旨在解决预训练模型在类增量学习（CIL）中多任务子空间纠缠导致的灾难性遗忘问题。该框架利用量子门控来指导任务间的知识迁移。具体而言，引入了一种量子门控任务调制机制，用于建模任务嵌入之间的关系依赖，从而动态地捕获流式任务中联合训练和推理的样本-任务相关性。在量子门控输出的指导下，我们执行任务交互知识蒸馏，利用来自旧适配器的任务嵌入级别相关权重来指导新适配器，使模型能够弥合独立任务子空间之间的表示差距。大量实验表明，QKD有效地缓解了遗忘，并实现了最先进的性能。

🔬 方法详解

问题定义：类增量学习（CIL）旨在从连续的任务流中累积知识，并构建一个统一的分类器来处理所有已见过的类别。然而，当将预训练模型应用于CIL时，由于多任务子空间的纠缠，模型容易发生灾难性遗忘。现有的方法在校准任务路由参数或固定任务级表示方面存在不足，导致知识无法有效迁移和保留。

核心思路：本文的核心思路是利用量子门控机制来动态地建模任务之间的关系，并指导知识从旧任务迁移到新任务。通过引入量子门控，模型可以更好地理解不同任务之间的相关性，从而在知识蒸馏过程中更有效地传递知识，缓解灾难性遗忘。这种方法允许模型在学习新任务的同时，保留先前任务的知识。

技术框架：QKD框架主要包含以下几个模块：1) 任务嵌入模块：用于提取每个任务的嵌入表示。2) 量子门控模块：利用量子门控机制建模任务嵌入之间的关系，生成任务交互权重。3) 知识蒸馏模块：利用量子门控模块生成的任务交互权重，指导从旧适配器到新适配器的知识蒸馏。整体流程是，首先提取任务嵌入，然后通过量子门控计算任务交互权重，最后利用这些权重进行知识蒸馏，从而实现知识的有效迁移和保留。

关键创新：该论文的关键创新在于引入了量子门控机制来建模任务之间的关系，并将其应用于知识蒸馏过程中。与传统的知识蒸馏方法相比，QKD框架能够更精确地捕捉任务之间的相关性，从而更有效地迁移知识，缓解灾难性遗忘。此外，动态的任务调制机制允许模型根据输入样本自适应地调整任务表示，进一步提高了模型的性能。

关键设计：量子门控模块是QKD框架的关键组成部分。该模块利用量子门来模拟任务之间的相互作用，并生成任务交互权重。具体的量子门结构和参数需要根据具体的任务和数据集进行调整。此外，知识蒸馏损失函数的设计也至关重要，需要平衡新任务的学习和旧知识的保留。论文中可能使用了多种损失函数的组合，例如交叉熵损失和KL散度损失，以达到最佳的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，QKD框架在多个类增量学习数据集上取得了state-of-the-art的性能。与现有的知识蒸馏方法相比，QKD框架能够更有效地缓解灾难性遗忘，并在新任务上的学习速度更快。具体的性能提升幅度取决于数据集和任务的复杂程度，但总体而言，QKD框架能够显著提高类增量学习模型的性能。

🎯 应用场景

该研究成果可应用于各种需要持续学习的场景，例如：自动驾驶、智能客服、医疗诊断等。在这些场景中，模型需要不断地学习新的知识，同时保持对旧知识的记忆。QKD框架能够有效地缓解灾难性遗忘，提高模型的泛化能力和鲁棒性，具有重要的实际应用价值和广阔的应用前景。

📄 摘要（原文）

Class-incremental learning (CIL) aims to continuously accumulate knowledge from a stream of tasks and construct a unified classifier over all seen classes. Although pretrained models (PTMs) have shown promising performance in CIL, they still struggle with the entanglement of multi-task subspaces, leading to catastrophic forgetting when task routing parameters are poorly calibrated or task-level representations are rigidly fixed. To address this issue, we propose a novel Quantum-Gated Task-interaction Knowledge Distillation (QKD) framework that leverages quantum gating to guide inter-task knowledge transfer. Specifically, we introduce a quantum-gated task modulation gating mechanism to model the relational dependencies among task embedding, dynamically capturing the sample-to-task relevance for both joint training and inference across streaming tasks. Guided by the quantum gating outputs, we perform task-interaction knowledge distillation guided by these task-embedding-level correlation weights from old to new adapters, enabling the model to bridge the representation gaps between independent task subspaces. Extensive experiments demonstrate that QKD effectively mitigates forgetting and achieves state-of-the-art performance.