Enhancing Pretrained Model-based Continual Representation Learning via Guided Random Projection

📄 arXiv: 2603.19145v1 📥 PDF

作者: Ruilin Li, Heming Zou, Xiufeng Yan, Zheming Liang, Jie Yang, Chenliang Li, Xue Yang

分类: cs.LG

发布日期: 2026-03-19

💡 一句话要点

提出SCL-MGSM，通过引导随机投影增强预训练模型在持续表征学习中的性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 持续学习 随机投影 预训练模型 类增量学习 数据引导 表征学习

📋 核心要点

  1. 现有基于随机投影的持续学习方法在领域差异大时，随机初始化投影层表达能力有限。
  2. SCL-MGSM通过数据引导机制构建投影层，逐步选择目标对齐的随机基，适应下游任务。
  3. 实验表明，SCL-MGSM在多个无样本类增量学习基准上优于现有方法，性能更优。

📝 摘要（中文）

本文提出了一种基于随机投影层(RPL)的持续表征学习新范式，该范式建立在预训练模型(PTM)之上。现有方法在PTM后插入一个随机初始化的RPL，以增强初始阶段的特征表示。随后，使用线性分类头进行持续学习阶段的解析更新。然而，当预训练表示和目标域之间存在严重域差异时，随机初始化的RPL在大的域偏移下表现出有限的表达能力。虽然大幅增加RPL的维度可以提高表达能力，但也会导致病态的特征矩阵，从而破坏线性头的递归解析更新的稳定性。为此，我们提出了具有MemoryGuard监督机制的随机持续学习器(SCL-MGSM)。与随机初始化不同，MGSM通过一种有原则的、数据引导的机制构建投影层，该机制逐步选择目标对齐的随机基，以使PTM表示适应下游任务。这有助于构建紧凑而富有表现力的RPL，同时提高解析更新的数值稳定性。在多个无样本类增量学习(CIL)基准上的大量实验表明，与最先进的方法相比，SCL-MGSM取得了优异的性能。

🔬 方法详解

问题定义：论文旨在解决预训练模型在持续表征学习中，当预训练数据和目标任务数据存在较大领域差异时，随机初始化的随机投影层(RPL)表达能力不足的问题。现有方法要么表达能力有限，要么增加RPL维度导致数值不稳定，影响学习效果。

核心思路：论文的核心思路是通过一种数据引导的机制来构建RPL，而不是随机初始化。这种机制能够逐步选择与目标任务对齐的随机基，从而使预训练模型的表示能够更好地适应下游任务，同时保持RPL的紧凑性和数值稳定性。

技术框架：SCL-MGSM (Stochastic Continual Learner with MemoryGuard Supervisory Mechanism) 的整体框架包括：1) 使用预训练模型提取特征；2) 通过MemoryGuard监督机制构建数据引导的RPL；3) 使用线性分类头进行持续学习的解析更新。MemoryGuard机制负责选择与当前任务相关的随机基，并将其添加到RPL中。

关键创新：关键创新在于MemoryGuard监督机制，它通过数据驱动的方式选择随机基，而不是简单地随机初始化。这种机制能够有效地利用目标任务的数据信息，使RPL更好地适应下游任务，同时避免了随机初始化可能导致的表达能力不足或数值不稳定问题。

关键设计：MemoryGuard机制的关键设计包括：1) 定义一个目标对齐的度量标准，用于评估随机基与当前任务的相关性；2) 设计一个选择策略，用于从候选随机基中选择与当前任务最相关的基；3) 使用选择的随机基更新RPL，并使用线性分类头进行解析更新。具体的损失函数和网络结构细节未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SCL-MGSM在多个无样本类增量学习(CIL)基准上取得了优异的性能，显著优于现有方法。具体性能数据和提升幅度未在摘要中给出，属于未知信息。但摘要强调了SCL-MGSM在CIL任务上的state-of-the-art表现。

🎯 应用场景

该研究成果可应用于图像识别、自然语言处理等领域，尤其适用于需要持续学习新知识和适应新任务的场景。例如，在机器人导航、智能客服等应用中，模型需要不断学习新的环境和用户需求，SCL-MGSM能够有效地提高模型的学习效率和泛化能力，降低对大量标注数据的依赖。

📄 摘要（原文）

Recent paradigms in Random Projection Layer (RPL)-based continual representation learning have demonstrated superior performance when building upon a pre-trained model (PTM). These methods insert a randomly initialized RPL after a PTM to enhance feature representation in the initial stage. Subsequently, a linear classification head is used for analytic updates in the continual learning stage. However, under severe domain gaps between pre-trained representations and target domains, a randomly initialized RPL exhibits limited expressivity under large domain shifts. While largely scaling up the RPL dimension can improve expressivity, it also induces an ill-conditioned feature matrix, thereby destabilizing the recursive analytic updates of the linear head. To this end, we propose the Stochastic Continual Learner with MemoryGuard Supervisory Mechanism (SCL-MGSM). Unlike random initialization, MGSM constructs the projection layer via a principled, data-guided mechanism that progressively selects target-aligned random bases to adapt the PTM representation to downstream tasks. This facilitates the construction of a compact yet expressive RPL while improving the numerical stability of analytic updates. Extensive experiments on multiple exemplar-free Class Incremental Learning (CIL) benchmarks demonstrate that SCL-MGSM achieves superior performance compared to state-of-the-art methods.