MoExtend: Tuning New Experts for Modality and Task Extension

📄 arXiv: 2408.03511v1 📥 PDF

作者: Shanshan Zhong, Shanghua Gao, Zhongzhan Huang, Wushao Wen, Marinka Zitnik, Pan Zhou

分类: cs.CV, cs.CL

发布日期: 2024-08-07

备注: ACL 2024 - SRW

🔗 代码/项目: GITHUB

💡 一句话要点

MoExtend：通过调优新专家模块实现多模态和任务扩展

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 混合专家模型 指令调优 视觉语言模型 灾难性遗忘 模型扩展 迁移学习

📋 核心要点

  1. 现有方法如LLAVA通过全参数微调LLM来融合视觉信息，但面临灾难性遗忘和训练成本高的挑战。
  2. MoExtend通过向预训练的MoE模型中添加新的专家模块，无需调整原有模型即可实现多模态扩展。
  3. 实验结果表明，MoExtend能够有效提升LLM的多模态能力，且避免了灾难性遗忘问题。

📝 摘要（中文）

大型语言模型（LLMs）在各种任务中表现出色，但主要基于文本数据进行训练，限制了其应用范围。将LLM的能力扩展到包括视觉-语言理解至关重要，然而从头开始在多模态数据上训练它们具有挑战性和高成本。现有的指令调优方法，例如LLAVA，通常通过完全微调LLM来连接预训练的CLIP视觉编码器和LLM，以弥合模态差距。然而，完全微调受到灾难性遗忘（即忘记先前的知识）和高训练成本的困扰，尤其是在任务和模态不断增加的时代。为了解决这个问题，我们引入了MoExtend，这是一个有效框架，旨在简化混合专家（MoE）模型的多模态适应和扩展。MoExtend将新的专家模块无缝集成到预训练的MoE模型中，使它们具备新的知识，而无需调整预训练模型（如MoE和视觉编码器）。这种方法能够快速适应和扩展到新的模态数据或任务，有效应对了在LLM中容纳新模态的挑战。此外，MoExtend避免了调整预训练模型，从而减轻了灾难性遗忘的风险。实验结果表明，MoExtend在增强LLM的多模态能力方面是有效和高效的，有助于多模态AI研究的进步。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在扩展到多模态任务时面临的灾难性遗忘和高训练成本问题。现有方法，如完全微调LLM，在引入新的视觉信息时会覆盖或削弱LLM原有的语言能力，并且需要大量的计算资源。因此，如何在不破坏LLM原有知识的前提下，高效地赋予其多模态能力是一个关键挑战。

核心思路：MoExtend的核心思路是利用混合专家（MoE）模型的模块化特性，通过添加新的专家模块来处理新的模态信息，而无需修改或微调预训练的LLM和视觉编码器。这种方法避免了灾难性遗忘，并显著降低了训练成本。新加入的专家模块专门学习如何将视觉信息与LLM的语言能力相结合。

技术框架：MoExtend框架主要包含以下几个模块：1) 预训练的LLM（如MoE模型）；2) 预训练的视觉编码器（如CLIP）；3) 新添加的专家模块。视觉编码器将图像信息编码成视觉特征向量，然后这些特征向量被输入到新添加的专家模块中。专家模块学习如何将这些视觉特征与LLM的语言表示相结合。在推理阶段，LLM根据输入选择合适的专家模块进行处理，从而实现多模态理解。

关键创新：MoExtend最重要的技术创新点在于其“即插即用”的模块化设计。它避免了对预训练LLM的全局微调，而是通过添加专门的专家模块来实现多模态扩展。与现有方法相比，MoExtend能够更有效地保留LLM的原有知识，并显著降低训练成本。此外，这种模块化设计使得MoExtend可以轻松地扩展到新的模态和任务。

关键设计：MoExtend的关键设计包括：1) 专家模块的网络结构（例如，Transformer层）；2) 专家模块的训练目标（例如，多模态指令调优）；3) 如何将视觉特征输入到专家模块中（例如，通过线性投影层）；4) 如何选择合适的专家模块（例如，通过路由机制）。论文可能还涉及一些超参数的设置，例如学习率、batch size等，以及一些正则化技术，以防止过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MoExtend在多模态任务上取得了显著的性能提升，同时避免了灾难性遗忘。具体来说，MoExtend在视觉问答（VQA）和图像描述生成等任务上，相较于全参数微调的方法，在保持原有语言能力的同时，取得了可比甚至更好的性能。此外，MoExtend的训练成本显著降低，仅需少量计算资源即可完成多模态扩展。

🎯 应用场景

MoExtend具有广泛的应用前景，包括但不限于：多模态对话系统、图像描述生成、视觉问答、以及基于视觉信息的文本创作等。该研究的实际价值在于降低了多模态LLM的训练成本和部署难度，使得更多研究者和开发者能够利用LLM处理复杂的视觉-语言任务。未来，MoExtend可以进一步扩展到其他模态，例如音频、视频等，从而构建更加通用和强大的多模态AI系统。

📄 摘要（原文）

Large language models (LLMs) excel in various tasks but are primarily trained on text data, limiting their application scope. Expanding LLM capabilities to include vision-language understanding is vital, yet training them on multimodal data from scratch is challenging and costly. Existing instruction tuning methods, e.g., LLAVA, often connects a pretrained CLIP vision encoder and LLMs via fully fine-tuning LLMs to bridge the modality gap. However, full fine-tuning is plagued by catastrophic forgetting, i.e., forgetting previous knowledge, and high training costs particularly in the era of increasing tasks and modalities. To solve this issue, we introduce MoExtend, an effective framework designed to streamline the modality adaptation and extension of Mixture-of-Experts (MoE) models. MoExtend seamlessly integrates new experts into pre-trained MoE models, endowing them with novel knowledge without the need to tune pretrained models such as MoE and vision encoders. This approach enables rapid adaptation and extension to new modal data or tasks, effectively addressing the challenge of accommodating new modalities within LLMs. Furthermore, MoExtend avoids tuning pretrained models, thus mitigating the risk of catastrophic forgetting. Experimental results demonstrate the efficacy and efficiency of MoExtend in enhancing the multimodal capabilities of LLMs, contributing to advancements in multimodal AI research. Code: https://github.com/zhongshsh/MoExtend.