REDAR: Reinforcement-Driven Adaptive Regularisation for Class Incremental Learning

📄 arXiv: 2610.31991v1 📥 PDF

作者: Akila Ayanthi, Darshana Priyasad, Tharindu Fernando, Sridha Sridharan, Clinton Fookes, Peyman Moghadam

分类: cs.LG

发布日期: 2026-10-22

备注: The 28th International Conference on Digital Image Computing: Techniques and Applications (DICTA 2026)

💡 一句话要点

提出REDAR以解决类增量学习中的正则化选择问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 类增量学习 正则化 强化学习 动态调整 模型迁移

📋 核心要点

  1. 现有的类增量学习方法在正则化系数的选择上存在固定化问题，无法适应动态变化的学习环境。
  2. REDAR通过强化学习将正则化强度选择转化为序列决策问题，能够根据当前性能和数据统计动态调整。
  3. 实验表明，REDAR在CIFAR-100和Tiny-ImageNet数据集上显著减少了遗忘，并提升了模型的前向迁移能力。

📝 摘要（中文）

基于正则化的类增量学习（CIL）方法通过离线调优的固定系数来控制稳定性与可塑性之间的权衡，然而这种方法未能适应持续学习目标及数据量、任务难度和类相似性等阶段性变化。本文提出REDAR：一种基于强化学习的自适应正则化方法，将正则化强度选择视为一个序列决策问题。在每个增量阶段，轻量级的强化学习代理观察当前性能指标和即将到来的数据统计，输出该阶段的蒸馏系数。为了遵循CIL对历史数据访问的限制，该策略完全在从初始阶段构建的伪CIL任务上进行训练，然后在增量序列中部署而无需进一步适应。实验结果表明，REDAR在CIFAR-100和Tiny-ImageNet上减少了遗忘现象，并在固定和启发式基线之上提升了前向迁移能力。

🔬 方法详解

问题定义：本文旨在解决类增量学习中正则化强度选择的固定化问题，现有方法未能适应数据量、任务难度和类相似性等变化，导致性能下降。

核心思路：REDAR将正则化强度的选择视为一个序列决策问题，通过强化学习代理动态调整正则化系数，以适应不同的学习阶段和数据特性。

技术框架：整体架构包括一个轻量级的强化学习代理，负责观察当前的性能指标和数据统计，并输出适合当前阶段的蒸馏系数。该策略在伪CIL任务上训练，然后在增量学习过程中直接应用。

关键创新：REDAR的核心创新在于将正则化强度选择与强化学习结合，克服了传统方法的固定性，使得模型能够在不同阶段灵活调整正则化策略。

关键设计：在设计上，REDAR使用了轻量级的强化学习算法，训练过程中采用伪任务构建，确保策略在没有历史数据访问的情况下仍能有效应用。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，REDAR在CIFAR-100和Tiny-ImageNet数据集上显著减少了遗忘现象，前向迁移能力相比于固定和启发式基线提升了多个百分点，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括机器人学习、自动驾驶、智能监控等需要持续学习的场景。通过动态调整正则化策略，REDAR能够在不断变化的环境中保持模型性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Regularisation-based class-incremental learning (CIL) methods control the stability-plasticity trade-off through fixed coefficients tuned offline, independently of the continual learning objective and blind to phase-specific variations in data volume, task difficulty, and class similarity. We argue this is a fundamental mismatch and propose REDAR: Reinforcement-Driven Adaptive Regularisation for Class Incremental Learning, which treats regularisation strength selection as a sequential decision problem. At each incremental phase, a lightweight reinforcement learning (RL) agent observes a compact state of current performance metrics and incoming data statistics, and outputs the distillation coefficients for that phase. To respect CIL's constraint on historical data access, the policy is trained entirely on pseudo-CIL tasks constructed from the initial phase, then deployed on the incremental sequence without further adaptation. Experiments on CIFAR-100 and Tiny-ImageNet demonstrate that REDAR reduces forgetting and improves forward transfer over fixed and heuristic baselines, and that policies trained on short pseudo-task horizons transfer effectively to longer incremental runs.