An Empirical Study on Parameter-Efficient Fine-Tuning for MultiModal Large Language Models

📄 arXiv: 2406.05130v1 📥 PDF

作者: Xiongtao Zhou, Jie He, Yuhua Ke, Guangyao Zhu, Víctor Gutiérrez-Basulto, Jeff Z. Pan

分类: cs.CL

发布日期: 2024-06-07

备注: ACL finding 2024

🔗 代码/项目: GITHUB

💡 一句话要点

研究多模态大语言模型参数高效微调方法，适配器表现最佳。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 参数高效微调 PEFT 适配器 连接器层 实证研究 多模态学习

📋 核心要点

  1. 全参数微调多模态大语言模型计算成本高昂，限制了其在资源受限场景下的应用。
  2. 探索参数高效微调方法，旨在以较少的参数训练量，提升MLLMs在多模态任务中的性能。
  3. 实验结果表明，适配器方法在多种数据集上表现最佳，微调连接器层也能有效提升性能。

📝 摘要（中文）

本文针对多模态大语言模型（MLLMs）的全参数微调面临的挑战，研究了参数高效微调（PEFT）方法。旨在探索在仅训练有限参数的情况下，提升MLLMs性能的有效方法。通过对开源MLLMs的LLM组件应用四种流行的PEFT方法进行实证研究，并进行了全面的分析，包括PEFT方法对不同模型的影响、PEFT模块的参数和位置、微调数据的大小、基于PEFT方法的模型稳定性、MLLM的泛化能力和幻觉问题。在来自两个不同类别的七个数据集上评估了四种PEFT方法：未见数据集和已见数据集。实验结果表明，适配器（Adapter）是性能最佳的PEFT方法。同时，微调连接器层（Connector layers）在大多数MLLMs中都能带来性能提升。代码和数据可在https://github.com/alenai97/PEFT-MLLM.git获取。

🔬 方法详解

问题定义：论文旨在解决多模态大语言模型（MLLMs）全参数微调带来的计算资源消耗问题。现有方法在面对参数量巨大的MLLMs时，微调所有参数变得不切实际，需要寻找更高效的微调策略。

核心思路：论文的核心思路是探索参数高效微调（PEFT）方法在MLLMs上的应用，通过仅微调少量参数来达到接近全参数微调的性能。这样可以在降低计算成本的同时，保持甚至提升模型的性能。

技术框架：论文的技术框架主要包括以下几个步骤：1) 选择开源MLLMs作为基础模型；2) 选择四种流行的PEFT方法（具体方法名称在摘要中未明确给出，但提到了Adapter）；3) 在多模态指令数据集上对MLLMs的LLM组件进行微调；4) 在多个数据集上评估微调后的模型性能，并分析不同PEFT方法的影响。

关键创新：论文的关键创新在于对多种PEFT方法在MLLMs上的效果进行了系统的实证研究，并分析了不同因素（如PEFT模块的位置、微调数据大小等）对模型性能的影响。通过实验，确定了Adapter方法在MLLMs上的优越性，并发现微调连接器层也能带来性能提升。

关键设计：论文的关键设计包括：1) 选择了四种不同的PEFT方法进行对比，以便全面评估不同方法的优劣；2) 考虑了PEFT模块在模型中的不同位置，以确定最佳的微调位置；3) 使用了不同大小的微调数据集，以研究数据量对模型性能的影响；4) 评估了模型的泛化能力和幻觉问题，以全面评估模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，适配器（Adapter）是性能最佳的PEFT方法。同时，微调连接器层（Connector layers）在大多数MLLMs中都能带来性能提升。该研究为选择合适的PEFT方法和微调位置提供了重要的参考依据。

🎯 应用场景

该研究成果可应用于各种多模态任务，例如图像描述、视觉问答、多模态对话等。通过参数高效微调，可以在资源受限的环境下部署高性能的MLLMs，降低模型训练和部署的成本，加速多模态人工智能技术的普及。

📄 摘要（原文）

Multimodal large language models (MLLMs) fine-tuned with multimodal instruction datasets have demonstrated remarkable capabilities in multimodal tasks. However, fine-tuning all parameters of MLLMs has become challenging as they usually contain billions of parameters. To address this issue, we study parameter-efficient fine-tuning (PEFT) methods for MLLMs. We aim to identify effective methods for enhancing the performance of MLLMs in scenarios where only a limited number of parameters are trained. This paper conducts empirical studies using four popular PEFT methods to fine-tune the LLM component of open-source MLLMs. We present a comprehensive analysis that encompasses various aspects, including the impact of PEFT methods on various models, parameters and location of the PEFT module, size of fine-tuning data, model stability based on PEFT methods, MLLM's generalization, and hallucination. We evaluated four PEFT methods on seven datasets from two different categories: unseen and seen datasets. Across all experiments, we show that the adapter is the best-performing PEFT method. At the same time, fine-tuning the connector layers leads to improved performance in most MLLMs. Code and data are available at https://github.com/alenai97/PEFT-MLLM.git.