$γ-$MoD: Exploring Mixture-of-Depth Adaptation for Multimodal Large Language Models

📄 arXiv: 2410.13859v1 📥 PDF

作者: Yaxin Luo, Gen Luo, Jiayi Ji, Yiyi Zhou, Xiaoshuai Sun, Zhiqiang Shen, Rongrong Ji

分类: cs.CV

发布日期: 2024-10-17

💡 一句话要点

提出$γ$-MoD，通过深度混合自适应提升多模态大语言模型的效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 深度混合 模型压缩 计算效率 注意力机制

📋 核心要点

  1. 现有MLLM计算成本高昂，阻碍了实际部署，需要降低计算复杂度。
  2. 提出$γ$-MoD，利用注意力图的秩(ARank)指导深度混合(MoD)层的部署，实现计算稀疏性。
  3. 实验表明，$γ$-MoD能有效减少训练和推理时间，同时保持性能，具有良好的泛化能力。

📝 摘要（中文）

多模态大语言模型(MLLM)取得了显著进展，但其高计算成本仍然是实际部署的障碍。受自然语言处理中深度混合(MoD)的启发，本文旨在从“激活token”的角度解决这一限制。核心思想是，如果大多数token对于层计算是冗余的，那么可以通过MoD层直接跳过它们。然而，直接将MLLM的密集层转换为MoD层会导致严重的性能下降。为了解决这个问题，本文提出了一种创新的MoD自适应策略，称为$γ$-MoD。在$γ$-MoD中，提出了一种新的度量标准来指导MoD在MLLM中的部署，即注意力图的秩(ARank)。通过ARank，可以有效地识别哪些层是冗余的，应该用MoD层替换。基于ARank，进一步提出了两种新的设计，以最大限度地提高MLLM的计算稀疏性，同时保持其性能，即共享视觉-语言路由器和掩码路由学习。通过这些设计，MLLM超过90%的密集层可以有效地转换为MoD层。为了验证该方法，将其应用于三个流行的MLLM，并在9个基准数据集上进行了广泛的实验。实验结果不仅验证了$γ$-MoD对现有MLLM的显著效率优势，而且证实了其在各种MLLM上的泛化能力。例如，在性能略有下降的情况下，即-1.5%，$γ$-MoD可以将LLaVA-HR的训练和推理时间分别减少31.0%和53.2%。

🔬 方法详解

问题定义：现有的多模态大语言模型（MLLMs）计算成本高，难以部署。直接将MLLMs的密集层替换为MoD层会导致性能显著下降，因此需要一种有效的方法来确定哪些层适合替换为MoD层，并在替换后保持模型性能。

核心思路：论文的核心思路是利用注意力机制的特性，通过分析注意力图的秩（ARank）来评估每一层的重要性。如果一层的注意力图秩较低，则表明该层的大部分token是冗余的，适合用MoD层替换，从而减少计算量。

技术框架：$γ$-MoD的整体框架包括以下几个步骤：1) 使用ARank评估MLLM中每一层的重要性；2) 根据ARank选择要替换为MoD层的层；3) 引入共享视觉-语言路由器和掩码路由学习来优化MoD层的路由策略，从而在保持性能的同时提高计算稀疏性。

关键创新：该方法最重要的创新点在于提出了ARank这一指标，用于指导MoD层在MLLM中的部署。ARank能够有效地识别冗余层，从而避免了盲目替换导致的性能下降。此外，共享视觉-语言路由器和掩码路由学习进一步提高了MoD层的效率。

关键设计：ARank的计算方式未知。共享视觉-语言路由器旨在利用视觉和语言信息来指导MoD层的路由决策。掩码路由学习通过引入掩码机制来约束MoD层的路由行为，从而提高计算稀疏性。具体的损失函数和网络结构细节在论文中应该有更详细的描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，$γ$-MoD能够显著降低MLLM的计算成本，同时保持甚至略微提升模型性能。例如，在LLaVA-HR上，在性能下降仅1.5%的情况下，训练和推理时间分别减少了31.0%和53.2%。该方法在多个基准数据集和不同的MLLM架构上都表现出良好的泛化能力。

🎯 应用场景

该研究成果可应用于各种需要高效多模态理解和生成的场景，例如智能助手、图像/视频内容分析、机器人导航等。通过降低MLLM的计算成本，可以将其部署在资源受限的设备上，从而扩展其应用范围，并促进多模态人工智能技术的普及。

📄 摘要（原文）

Despite the significant progress in multimodal large language models (MLLMs), their high computational cost remains a barrier to real-world deployment. Inspired by the mixture of depths (MoDs) in natural language processing, we aim to address this limitation from the perspective of ``activated tokens''. Our key insight is that if most tokens are redundant for the layer computation, then can be skipped directly via the MoD layer. However, directly converting the dense layers of MLLMs to MoD layers leads to substantial performance degradation. To address this issue, we propose an innovative MoD adaptation strategy for existing MLLMs called $γ$-MoD. In $γ$-MoD, a novel metric is proposed to guide the deployment of MoDs in the MLLM, namely rank of attention maps (ARank). Through ARank, we can effectively identify which layer is redundant and should be replaced with the MoD layer. Based on ARank, we further propose two novel designs to maximize the computational sparsity of MLLM while maintaining its performance, namely shared vision-language router and masked routing learning. With these designs, more than 90% dense layers of the MLLM can be effectively converted to the MoD ones. To validate our method, we apply it to three popular MLLMs, and conduct extensive experiments on 9 benchmark datasets. Experimental results not only validate the significant efficiency benefit of $γ$-MoD to existing MLLMs but also confirm its generalization ability on various MLLMs. For example, with a minor performance drop, i.e., -1.5%, $γ$-MoD can reduce the training and inference time of LLaVA-HR by 31.0% and 53.2%, respectively.