CROME: Cross-Modal Adapters for Efficient Multimodal LLM

📄 arXiv: 2408.06610v1 📥 PDF

作者: Sayna Ebrahimi, Sercan O. Arik, Tejas Nama, Tomas Pfister

分类: cs.CV, cs.CL, cs.LG

发布日期: 2024-08-13

💡 一句话要点

CROME：用于高效多模态LLM的跨模态适配器

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 大型语言模型 跨模态适配器 视觉问答 指令跟随

📋 核心要点

  1. 现有MLLM方法训练成本高昂，且对特定任务的适应性不足，限制了其广泛应用。
  2. CROME提出一种门控跨模态适配器，在LLM输入前融合视觉和文本信息，实现高效跨模态理解。
  3. 实验表明，CROME在零样本和微调场景下均表现出色，参数效率高，可与SOTA方法竞争。

📝 摘要（中文）

多模态大型语言模型(MLLM)展示了卓越的图像-语言能力，但其广泛应用面临着经济高效的训练和适配的挑战。现有方法通常需要昂贵的语言模型再训练，并且适应性有限。此外，目前对零样本性能改进的关注，为特定任务的调优提供的指导不足。我们提出了CROME，一个高效的视觉-语言指令调优框架。它采用了一种新颖的门控跨模态适配器，该适配器在输入到冻结的LLM之前，有效地组合了视觉和文本表示。这种轻量级适配器，以最少的参数进行训练，实现了高效的跨模态理解。值得注意的是，CROME在标准视觉问答和指令跟随基准测试中表现出卓越的零样本性能。此外，它产生了具有卓越参数效率的微调，与特定任务的专家级最先进方法相媲美。CROME展示了预LM对齐在构建可扩展、可适应和参数高效的多模态模型方面的潜力。

🔬 方法详解

问题定义：现有MLLM方法在训练和适配方面存在挑战。重新训练大型语言模型成本高昂，且针对特定任务的微调效率较低。现有方法主要关注零样本性能，缺乏对任务特定调优的有效指导。因此，需要一种参数高效且适应性强的MLLM训练框架。

核心思路：CROME的核心思路是在冻结的LLM之前，使用一个轻量级的跨模态适配器来融合视觉和文本信息。该适配器通过门控机制控制视觉和文本特征的融合比例，从而实现高效的跨模态理解。这种方法避免了对整个LLM进行重新训练，显著降低了计算成本。

技术框架：CROME框架包含以下主要模块：1) 视觉编码器：用于提取图像的视觉特征。2) 文本编码器：用于提取文本的文本特征。3) 门控跨模态适配器：将视觉和文本特征进行融合，生成融合后的多模态表示。4) 冻结的LLM：接收融合后的多模态表示，并生成相应的文本输出。整个流程是先分别编码视觉和文本信息，然后通过适配器进行融合，最后输入到LLM进行推理。

关键创新：CROME的关键创新在于其门控跨模态适配器。该适配器通过门控机制动态地调整视觉和文本特征的融合比例，从而更好地适应不同的任务和输入。与传统的直接拼接或加权平均方法相比，门控机制能够更有效地捕捉跨模态之间的复杂关系。

关键设计：CROME的适配器采用了一个简单的多层感知机（MLP）结构，参数量较小。门控机制使用sigmoid函数生成一个介于0和1之间的权重，用于控制视觉和文本特征的融合比例。损失函数采用标准的交叉熵损失，用于优化LLM的输出结果。具体参数设置和网络结构细节未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CROME在视觉问答和指令跟随基准测试中表现出卓越的零样本性能，超过了现有方法。在微调场景下，CROME以极高的参数效率，与特定任务的专家级SOTA方法相媲美。具体性能数据和提升幅度未在摘要中详细说明，属于未知信息。

🎯 应用场景

CROME具有广泛的应用前景，包括视觉问答、图像描述、多模态对话等。其高效的训练和适配能力使其能够应用于资源受限的场景，例如移动设备或边缘计算平台。CROME的参数效率也使其更易于部署和维护，降低了实际应用成本。未来，CROME有望推动多模态人工智能技术在各个领域的普及。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) demonstrate remarkable image-language capabilities, but their widespread use faces challenges in cost-effective training and adaptation. Existing approaches often necessitate expensive language model retraining and limited adaptability. Additionally, the current focus on zero-shot performance improvements offers insufficient guidance for task-specific tuning. We propose CROME, an efficient vision-language instruction tuning framework. It features a novel gated cross-modal adapter that effectively combines visual and textual representations prior to input into a frozen LLM. This lightweight adapter, trained with minimal parameters, enables efficient cross-modal understanding. Notably, CROME demonstrates superior zero-shot performance on standard visual question answering and instruction-following benchmarks. Moreover, it yields fine-tuning with exceptional parameter efficiency, competing with task-specific specialist state-of-the-art methods. CROME demonstrates the potential of pre-LM alignment for building scalable, adaptable, and parameter-efficient multimodal models.