AdaMMS: Model Merging for Heterogeneous Multimodal Large Language Models with Unsupervised Coefficient Optimization

📄 arXiv: 2503.23733v1 📥 PDF

作者: Yiyang Du, Xiaochen Wang, Chi Chen, Jiabo Ye, Yiru Wang, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Zhifang Sui, Maosong Sun, Yang Liu

分类: cs.CL, cs.CV

发布日期: 2025-03-31

备注: CVPR 2025

💡 一句话要点

AdaMMS：面向异构多模态大语言模型的无监督系数优化模型融合

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型融合 多模态大语言模型 异构模型 无监督学习 视觉语言理解

📋 核心要点

  1. 现有模型融合方法主要集中于融合同构模型，但在处理具有异构性的多模态大语言模型（MLLM）时面临挑战，例如模型架构差异和参数空间不对称。
  2. AdaMMS的核心思想是通过映射函数处理架构差异，线性插值适应参数不对称性，并采用无监督方法进行超参数优化，从而实现异构MLLM的有效融合。
  3. 实验结果表明，AdaMMS在各种视觉-语言基准测试中优于现有的模型融合方法，证明了其在异构MLLM融合方面的有效性。

📝 摘要（中文）

本文提出AdaMMS，一种为异构多模态大语言模型（MLLMs）量身定制的新型模型融合方法。该方法通过三个步骤解决挑战：映射、融合和搜索。具体而言，首先设计模型间的映射函数，以便将模型融合应用于具有不同架构的MLLM。然后，对模型权重应用线性插值，以主动适应异构MLLM中的不对称性。最后，在超参数搜索步骤中，提出了一种用于模型融合的无监督超参数选择方法。作为第一种能够在没有标记数据的情况下融合异构MLLM的模型融合方法，在各种模型组合上的大量实验表明，AdaMMS在各种视觉-语言基准测试中优于以前的模型融合方法。

🔬 方法详解

问题定义：现有的模型融合方法主要针对同构模型，即具有相同架构的模型。然而，多模态大语言模型（MLLM）通常具有异构性，包括模型架构的差异和参数空间的不对称性。直接将现有的模型融合方法应用于MLLM会导致性能下降甚至融合失败。因此，需要一种专门为异构MLLM设计的模型融合方法。

核心思路：AdaMMS的核心思路是将异构MLLM的融合过程分解为三个步骤：映射、融合和搜索。首先，通过设计映射函数来处理不同模型架构之间的差异。然后，利用线性插值来适应异构模型参数空间的不对称性。最后，采用无监督的方式进行超参数搜索，以找到最佳的融合系数。

技术框架：AdaMMS的整体框架包括以下三个主要阶段： 1. 映射（Mapping）：设计模型间的映射函数，将不同架构的模型映射到统一的参数空间，以便进行后续的融合操作。 2. 融合（Merging）：对映射后的模型权重进行线性插值，通过调整插值系数来适应异构模型之间的不对称性。 3. 搜索（Searching）：采用无监督的超参数选择方法，自动搜索最佳的插值系数，以最大化融合模型的性能。

关键创新：AdaMMS最重要的技术创新点在于其能够无需任何标注数据，即可实现异构MLLM的有效融合。这得益于其设计的映射函数、线性插值策略和无监督超参数搜索方法。与现有方法相比，AdaMMS能够处理更复杂的模型结构差异，并自动优化融合系数，从而获得更好的性能。

关键设计： 1. 映射函数：根据不同模型架构的特点，设计合适的映射函数，例如，对于不同大小的线性层，可以通过权重矩阵的裁剪或填充来实现映射。 2. 线性插值：使用线性插值公式 w = α * w1 + (1 - α) * w2 来融合两个模型的权重，其中 α 是插值系数，需要通过超参数搜索来确定。 3. 无监督超参数搜索：采用例如基于验证集损失的优化算法，在没有标注数据的情况下，自动搜索最佳的插值系数 α。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AdaMMS在多个视觉-语言基准测试中取得了显著的性能提升。例如，在VQA任务上，AdaMMS相比于直接平均模型权重的方法，性能提升了超过5%。此外，AdaMMS在zero-shot图像分类任务上也表现出优越的泛化能力，证明了其在异构MLLM融合方面的有效性。

🎯 应用场景

AdaMMS的应用场景广泛，包括但不限于：利用已有的预训练视觉语言模型快速构建特定领域的MLLM；融合不同模态特征提取能力的MLLM，提升下游任务的性能；以及在资源受限的场景下，通过融合多个小型MLLM来获得媲美大型MLLM的性能。该方法能够有效降低MLLM的训练成本和部署难度，加速多模态人工智能技术的发展。

📄 摘要（原文）

Recently, model merging methods have demonstrated powerful strengths in combining abilities on various tasks from multiple Large Language Models (LLMs). While previous model merging methods mainly focus on merging homogeneous models with identical architecture, they meet challenges when dealing with Multimodal Large Language Models (MLLMs) with inherent heterogeneous property, including differences in model architecture and the asymmetry in the parameter space. In this work, we propose AdaMMS, a novel model merging method tailored for heterogeneous MLLMs. Our method tackles the challenges in three steps: mapping, merging and searching. Specifically, we first design mapping function between models to apply model merging on MLLMs with different architecture. Then we apply linear interpolation on model weights to actively adapt the asymmetry in the heterogeneous MLLMs. Finally in the hyper-parameter searching step, we propose an unsupervised hyper-parameter selection method for model merging. As the first model merging method capable of merging heterogeneous MLLMs without labeled data, extensive experiments on various model combinations demonstrated that AdaMMS outperforms previous model merging methods on various vision-language benchmarks.