Recent Advances of Multimodal Continual Learning: A Comprehensive Survey

📄 arXiv: 2410.05352v2 📥 PDF

作者: Dianzhi Yu, Xinni Zhang, Yankai Chen, Aiwei Liu, Yifei Zhang, Philip S. Yu, Irwin King

分类: cs.LG, cs.AI

发布日期: 2024-10-07 (更新: 2024-10-11)

🔗 代码/项目: GITHUB

💡 一句话要点

首个多模态持续学习综述，系统梳理方法并展望未来方向。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 持续学习 灾难性遗忘 正则化 架构设计 重放机制 提示学习 综述

📋 核心要点

  1. 传统持续学习方法难以直接应用于多模态场景，简单堆叠单模态方法效果不佳。
  2. 论文对多模态持续学习方法进行系统分类，包括正则化、架构、重放和提示四类。
  3. 论文总结了现有数据集和基准，并探讨了未来研究方向，促进该领域发展。

📝 摘要（中文）

持续学习(CL)旨在使机器学习模型能够从新数据中持续学习，同时建立在先前获得的知识之上，而不会忘记。随着机器学习模型从小型架构发展到大型预训练架构，以及从支持单模态数据发展到支持多模态数据，多模态持续学习(MMCL)方法最近开始出现。MMCL的主要挑战在于，它不仅仅是单模态CL方法的简单堆叠，因为这种直接的方法通常会产生不令人满意的性能。在这项工作中，我们提出了第一个关于MMCL的综合调查。我们提供了MMCL的基本背景知识和设置，以及MMCL方法的结构化分类。我们将现有的MMCL方法分为四类，即基于正则化、基于架构、基于重放和基于提示的方法，解释它们的方法论并突出它们的关键创新。此外，为了促进该领域的进一步研究，我们总结了开放的MMCL数据集和基准，并讨论了几个有希望的未来研究和发展方向。我们还创建了一个GitHub存储库，用于索引相关的MMCL论文和可用的开放资源，网址为https://github.com/LucyDYu/Awesome-Multimodal-Continual-Learning。

🔬 方法详解

问题定义：多模态持续学习(MMCL)旨在解决模型在持续学习新任务时，如何在不遗忘先前任务知识的前提下，有效利用多模态数据进行学习的问题。现有方法，如直接堆叠单模态持续学习方法，无法有效处理模态间的复杂交互，导致性能下降。此外，灾难性遗忘问题在多模态场景下更为严重，因为不同模态的信息可能相互干扰。

核心思路：论文的核心思路是对现有的MMCL方法进行系统性的梳理和分类，并从正则化、架构、重放和提示四个角度分析其解决灾难性遗忘和模态融合问题的策略。通过这种分类，可以更好地理解不同方法的优缺点，并为未来的研究提供指导。

技术框架：论文没有提出新的算法框架，而是对现有方法进行分类和总结。其技术框架主要体现在对MMCL方法的分类体系上，包括：1) 基于正则化的方法，通过约束模型参数的变化来保留先前知识；2) 基于架构的方法，通过动态调整网络结构来适应新任务；3) 基于重放的方法，通过存储和重放先前任务的数据来缓解遗忘；4) 基于提示的方法，通过学习任务相关的提示信息来指导模型学习。

关键创新：论文的关键创新在于它是首个对多模态持续学习进行全面综述的工作。它系统地整理了现有的MMCL方法，并提出了一个清晰的分类体系，为研究人员提供了一个全面的视角来理解该领域的研究进展。此外，论文还总结了现有的数据集和基准，并讨论了未来的研究方向，为该领域的发展提供了有价值的参考。

关键设计：论文本身是一个综述，没有涉及具体的算法设计。但是，论文中提到的各类MMCL方法都包含各自的关键设计，例如：基于正则化的方法可能涉及设计特定的正则化项来约束模型参数；基于架构的方法可能涉及设计动态扩展或裁剪网络结构的策略；基于重放的方法可能涉及设计高效的数据存储和重放机制；基于提示的方法可能涉及设计有效的提示生成和利用方法。这些设计细节因具体方法而异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该论文是一篇综述性文章，其亮点在于对现有MMCL方法进行了系统的分类和总结，并指出了该领域未来的研究方向。论文整理了可用的数据集和基准，为后续研究提供了便利。虽然没有具体的实验结果，但其对现有方法的分析和对未来方向的展望，对该领域的研究具有重要的指导意义。

🎯 应用场景

多模态持续学习在机器人、自动驾驶、智能助手等领域具有广泛的应用前景。例如，机器人可以通过持续学习不同环境下的视觉、听觉和触觉信息，不断提升其适应性和智能化水平。自动驾驶系统可以通过持续学习新的交通场景和驾驶行为，提高安全性和可靠性。智能助手可以通过持续学习用户的语音、文本和图像信息，提供更加个性化的服务。

📄 摘要（原文）

Continual learning (CL) aims to empower machine learning models to learn continually from new data, while building upon previously acquired knowledge without forgetting. As machine learning models have evolved from small to large pre-trained architectures, and from supporting unimodal to multimodal data, multimodal continual learning (MMCL) methods have recently emerged. The primary challenge of MMCL is that it goes beyond a simple stacking of unimodal CL methods, as such straightforward approaches often yield unsatisfactory performance. In this work, we present the first comprehensive survey on MMCL. We provide essential background knowledge and MMCL settings, as well as a structured taxonomy of MMCL methods. We categorize existing MMCL methods into four categories, i.e., regularization-based, architecture-based, replay-based, and prompt-based methods, explaining their methodologies and highlighting their key innovations. Additionally, to prompt further research in this field, we summarize open MMCL datasets and benchmarks, and discuss several promising future directions for investigation and development. We have also created a GitHub repository for indexing relevant MMCL papers and open resources available at https://github.com/LucyDYu/Awesome-Multimodal-Continual-Learning.