Enhancing Online Continual Learning with Plug-and-Play State Space Model and Class-Conditional Mixture of Discretization
作者: Sihao Liu, Yibo Yang, Xiaojie Li, David A. Clifton, Bernard Ghanem
分类: cs.LG, cs.AI, cs.CV
发布日期: 2024-12-24
💡 一句话要点
提出S6MOD即插即用模块，提升在线持续学习模型适应性和性能。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在线持续学习 模型适应性 状态空间模型 离散化混合 即插即用模块
📋 核心要点
- 现有在线持续学习方法侧重记忆保持，忽略了模型适应性，限制了增量学习泛化特征的能力。
- 提出S6MOD模块，通过选择性状态空间模型和离散化混合，增强模型对新任务的适应能力。
- 实验表明，S6MOD与多种模型结合，显著提升性能，达到当前最优水平。
📝 摘要（中文）
在线持续学习(OCL)旨在从仅出现一次的数据流中学习新任务，同时保留先前学习的任务的知识。现有方法主要依赖于重放，侧重于通过正则化或蒸馏来增强记忆保持。然而，它们常常忽略模型的适应性，限制了从在线训练数据中增量学习可泛化和判别性特征的能力。为了解决这个问题，我们引入了一个即插即用模块S6MOD，它可以集成到大多数现有方法中，并直接提高适应性。具体来说，S6MOD在骨干网络之后引入一个额外的分支，其中离散化的混合选择性地调整选择性状态空间模型中的参数，丰富选择性扫描模式，使得模型能够自适应地为当前动态选择最敏感的离散化方法。我们进一步设计了一种类条件路由算法，用于动态的、基于不确定性的调整，并实现了一种对比离散化损失来优化它。将我们的模块与各种模型相结合的大量实验表明，S6MOD显著增强了模型的适应性，从而带来显著的性能提升，并实现了最先进的结果。
🔬 方法详解
问题定义：在线持续学习(OCL)面临的关键挑战是如何在不断学习新任务的同时，避免灾难性遗忘，即忘记之前学习过的知识。现有方法，如基于重放的方法，虽然能缓解遗忘，但往往忽略了模型在新数据上的适应能力，导致模型无法有效地学习到具有泛化性的特征。这些方法在处理动态变化的数据流时，表现出较差的适应性，限制了其在实际应用中的效果。
核心思路：论文的核心思路是通过引入一个即插即用的模块S6MOD，来增强模型对新任务的适应能力。S6MOD的设计目标是使模型能够根据当前输入数据的特性，自适应地调整其内部参数，从而更好地学习新的知识，同时保持对旧知识的记忆。这种自适应性是通过选择性状态空间模型和离散化混合来实现的。
技术框架：S6MOD作为一个独立的模块，可以插入到现有的在线持续学习模型中。其主要包含以下几个部分：1) 一个额外的分支，位于骨干网络之后；2) 一个选择性状态空间模型，用于捕捉输入数据的动态特性；3) 一个离散化混合模块，用于选择性地调整状态空间模型中的参数；4) 一个类条件路由算法，用于动态调整离散化方法；5) 一个对比离散化损失，用于优化离散化混合模块。整体流程是，输入数据经过骨干网络后，进入S6MOD模块，S6MOD根据数据的特性，选择合适的离散化方法，调整状态空间模型的参数，最终输出增强的特征表示。
关键创新：S6MOD的关键创新在于其自适应性。传统的在线持续学习方法通常采用固定的学习策略，无法根据输入数据的变化进行调整。S6MOD通过离散化混合和类条件路由算法，实现了对模型参数的动态调整，使其能够更好地适应新的任务。此外，S6MOD的即插即用特性，使其可以方便地集成到现有的模型中，而无需对原有模型进行大幅修改。
关键设计：S6MOD的关键设计包括：1) 选择性状态空间模型：用于捕捉输入数据的动态特性，并提供一个可调整的参数空间；2) 离散化混合：通过混合不同的离散化方法，实现对模型参数的精细控制；3) 类条件路由算法：根据输入数据的类别和不确定性，动态选择合适的离散化方法；4) 对比离散化损失：用于优化离散化混合模块，使其能够更好地选择合适的离散化方法。具体的参数设置和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，S6MOD模块可以显著提升在线持续学习模型的性能。例如，在多个基准数据集上，S6MOD与多种现有模型结合后，均取得了显著的性能提升，达到了当前最优水平。具体的性能提升幅度取决于数据集和模型，但总体而言，S6MOD能够有效地提高模型的适应性和泛化能力。
🎯 应用场景
该研究成果可应用于各种需要持续学习的场景，例如：自动驾驶、智能客服、金融风控等。在这些场景中，模型需要不断地从新的数据中学习，并适应环境的变化。S6MOD模块可以帮助模型更好地适应这些变化，提高模型的性能和鲁棒性。未来，该研究还可以扩展到其他类型的机器学习任务，例如：强化学习、生成模型等。
📄 摘要（原文）
Online continual learning (OCL) seeks to learn new tasks from data streams that appear only once, while retaining knowledge of previously learned tasks. Most existing methods rely on replay, focusing on enhancing memory retention through regularization or distillation. However, they often overlook the adaptability of the model, limiting the ability to learn generalizable and discriminative features incrementally from online training data. To address this, we introduce a plug-and-play module, S6MOD, which can be integrated into most existing methods and directly improve adaptability. Specifically, S6MOD introduces an extra branch after the backbone, where a mixture of discretization selectively adjusts parameters in a selective state space model, enriching selective scan patterns such that the model can adaptively select the most sensitive discretization method for current dynamics. We further design a class-conditional routing algorithm for dynamic, uncertainty-based adjustment and implement a contrastive discretization loss to optimize it. Extensive experiments combining our module with various models demonstrate that S6MOD significantly enhances model adaptability, leading to substantial performance gains and achieving the state-of-the-art results.