Modality-Inconsistent Continual Learning of Multimodal Large Language Models

📄 arXiv: 2412.13050v1 📥 PDF

作者: Weiguo Pian, Shijian Deng, Shentong Mo, Yunhui Guo, Yapeng Tian

分类: cs.LG, cs.AI, cs.CL, cs.CV, cs.SD, eess.AS

发布日期: 2024-12-17

💡 一句话要点

提出MoInCL，解决多模态大语言模型中模态不一致的持续学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 持续学习 灾难性遗忘 知识蒸馏 伪目标生成

📋 核心要点

  1. 现有MLLM持续学习方法难以应对模态和任务类型同时变化带来的灾难性遗忘问题。
  2. MoInCL通过伪目标生成和基于指令的知识蒸馏，分别缓解任务类型变化和新模态引入带来的遗忘。
  3. 实验表明，MoInCL在MICL基准测试中显著优于现有持续学习方法，验证了其有效性。

📝 摘要（中文）

本文提出模态不一致的持续学习(MICL)这一新的多模态大语言模型(MLLM)持续学习场景，该场景涉及模态不一致的任务（图像、音频或视频）以及不同的任务类型（图像描述或问答）。与现有的仅视觉或模态增量设置不同，MICL结合了模态和任务类型的变化，这两种变化都会导致灾难性遗忘。为了应对这些挑战，我们提出了MoInCL，它采用伪目标生成模块来减轻先前看到的模态中任务类型变化引起的遗忘。它还结合了基于指令的知识蒸馏，以在引入新模态时保持模型处理先前学习的模态的能力。我们使用总共六个任务对MICL进行基准测试，并进行实验以验证我们提出的MoInCL的有效性。实验结果突出了MoInCL的优越性，显示出相对于代表性的和最先进的持续学习基线的显着改进。

🔬 方法详解

问题定义：论文旨在解决多模态大语言模型在持续学习场景下面临的模态不一致问题（Modality-Inconsistent Continual Learning, MICL）。具体来说，MICL场景下，模型需要依次学习包含不同模态（图像、音频、视频）和不同任务类型（图像描述、问答）的任务。现有方法主要集中在视觉模态或模态增量学习，无法有效应对模态和任务类型同时变化带来的灾难性遗忘问题。

核心思路：论文的核心思路是分别针对任务类型变化和新模态引入带来的遗忘问题，设计不同的缓解策略。对于任务类型变化，采用伪目标生成模块，利用已学习模态的数据生成伪目标，辅助模型学习，从而减轻遗忘。对于新模态引入，采用基于指令的知识蒸馏，利用新模态数据蒸馏模型，保留模型处理先前学习模态的能力。

技术框架：MoInCL的整体框架包含两个主要模块：伪目标生成模块（Pseudo Targets Generation Module）和基于指令的知识蒸馏模块（Instruction-based Knowledge Distillation）。首先，模型利用伪目标生成模块，根据已学习模态的数据生成伪目标，并利用这些伪目标进行训练，以保留已学习的任务类型知识。然后，当引入新的模态时，模型利用基于指令的知识蒸馏模块，在新模态数据上进行蒸馏训练，从而保留处理先前学习模态的能力。

关键创新：论文的关键创新在于提出了MICL这一新的持续学习场景，并针对该场景设计了MoInCL方法。MoInCL通过结合伪目标生成和基于指令的知识蒸馏，有效缓解了模态和任务类型同时变化带来的灾难性遗忘问题。与现有方法相比，MoInCL能够更好地适应复杂的多模态持续学习场景。

关键设计：伪目标生成模块的具体实现方式未知，论文可能使用了某种生成模型或数据增强技术来生成伪目标。基于指令的知识蒸馏模块可能使用了对比学习损失或交叉熵损失来指导学生模型的学习。具体的参数设置、损失函数和网络结构等技术细节需要在论文中进一步查找。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MoInCL在MICL基准测试中显著优于现有的持续学习方法。具体性能数据和提升幅度未知，但摘要中强调了MoInCL的优越性，表明其在缓解灾难性遗忘方面取得了显著进展。实验验证了MoInCL在模态不一致的持续学习场景下的有效性。

🎯 应用场景

该研究成果可应用于智能客服、多媒体内容理解、机器人交互等领域。例如，智能客服系统可以不断学习处理不同模态（语音、文本、图像）的用户请求，并根据请求类型（问答、推荐）提供相应的服务。机器人可以学习理解不同模态的指令，从而执行更复杂的任务。该研究有助于提升多模态大语言模型在实际应用中的适应性和泛化能力。

📄 摘要（原文）

In this paper, we introduce Modality-Inconsistent Continual Learning (MICL), a new continual learning scenario for Multimodal Large Language Models (MLLMs) that involves tasks with inconsistent modalities (image, audio, or video) and varying task types (captioning or question-answering). Unlike existing vision-only or modality-incremental settings, MICL combines modality and task type shifts, both of which drive catastrophic forgetting. To address these challenges, we propose MoInCL, which employs a Pseudo Targets Generation Module to mitigate forgetting caused by task type shifts in previously seen modalities. It also incorporates Instruction-based Knowledge Distillation to preserve the model's ability to handle previously learned modalities when new ones are introduced. We benchmark MICL using a total of six tasks and conduct experiments to validate the effectiveness of our proposed MoInCL. The experimental results highlight the superiority of MoInCL, showing significant improvements over representative and state-of-the-art continual learning baselines.