X-Former: Unifying Contrastive and Reconstruction Learning for MLLMs

📄 arXiv: 2407.13851v1 📥 PDF

作者: Sirnam Swetha, Jinyu Yang, Tal Neiman, Mamshad Nayeem Rizve, Son Tran, Benjamin Yao, Trishul Chilimbi, Mubarak Shah

分类: cs.CV, cs.LG, cs.MM

发布日期: 2024-07-18

备注: Accepted at ECCV2024

💡 一句话要点

提出X-Former，融合对比学习与重构学习，提升MLLM的视觉表征能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 视觉表征学习 对比学习 掩码图像建模 Transformer 视觉推理 细粒度视觉感知

📋 核心要点

  1. 现有MLLM主要依赖对比学习的视觉编码器，擅长捕获全局表征，但在捕捉局部细节方面存在不足。
  2. X-Former通过轻量级Transformer模块，融合对比学习和掩码图像建模的优势，互补全局语义和局部细节信息。
  3. 实验表明，X-Former在GQA数据集和细粒度视觉感知任务上表现出色，提升了MLLM的视觉理解能力。

📝 摘要（中文）

本文旨在通过结合高频细节视觉表征（来自掩码图像建模MIM）和语义丰富的低频表征（来自对比学习CL），来增强多模态大型语言模型（MLLM）的视觉表征能力。为此，我们提出了X-Former，一个轻量级的Transformer模块，旨在通过创新的交互机制利用CL和MIM的互补优势。具体来说，X-Former首先从两个冻结的视觉编码器（即基于CL的CLIP-ViT和基于MIM的MAE-ViT）引导视觉-语言表征学习和多模态到多模态的生成学习。它进一步从冻结的LLM引导视觉到语言的生成学习，以确保X-Former的视觉特征可以被LLM解释。为了证明该方法的有效性，我们在需要详细视觉理解的任务上评估了其性能。大量的评估表明，X-Former在GQA数据集中涉及结构和语义类别的视觉推理任务中表现出色。在细粒度视觉感知基准上的评估进一步证实了其在视觉理解方面的卓越能力。

🔬 方法详解

问题定义：现有的多模态大型语言模型（MLLM）在视觉理解方面依赖于从对比学习（CL）中获得的视觉编码器。虽然这些编码器擅长捕捉全局的、语义丰富的视觉表征，但在捕捉细粒度的局部视觉模式方面存在不足。因此，如何提升MLLM对细节信息的感知能力是一个关键问题。

核心思路：本文的核心思路是结合对比学习（CL）和掩码图像建模（MIM）的优势。CL擅长捕捉全局语义信息，而MIM擅长捕捉局部细节信息。通过融合这两种互补的视觉表征，可以提升MLLM的整体视觉理解能力。X-Former的设计目标是作为一个桥梁，连接并融合这两种视觉表征。

技术框架：X-Former的整体框架包含以下几个主要阶段：1) 使用冻结的CLIP-ViT（基于CL）和MAE-ViT（基于MIM）作为视觉编码器，分别提取全局语义特征和局部细节特征。2) 使用X-Former模块融合来自CLIP-ViT和MAE-ViT的特征。X-Former是一个轻量级的Transformer模块，包含自注意力机制和交叉注意力机制，用于学习两种特征之间的关系。3) 使用冻结的LLM作为语言解码器，将融合后的视觉特征映射到语言空间，实现视觉到语言的生成学习。

关键创新：X-Former的关键创新在于其融合对比学习和掩码图像建模的方式。不同于以往简单地拼接或加权融合，X-Former通过Transformer模块学习两种特征之间的复杂关系，从而更好地利用它们的互补优势。此外，X-Former的设计是轻量级的，易于集成到现有的MLLM框架中。

关键设计：X-Former模块采用标准的Transformer结构，包含多头自注意力机制和多头交叉注意力机制。自注意力机制用于学习每个视觉编码器内部的特征关系，而交叉注意力机制用于学习CLIP-ViT和MAE-ViT特征之间的关系。损失函数包括视觉-语言对比损失和视觉到语言的生成损失，用于优化X-Former的参数，使其能够更好地融合两种视觉表征并生成准确的语言描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，X-Former在GQA数据集上取得了显著的性能提升，尤其是在涉及结构和语义推理的任务上。在细粒度视觉感知基准上的评估也证实了X-Former的优越性。与基线方法相比，X-Former能够更好地捕捉图像中的细节信息，从而提高视觉理解的准确性。具体性能数据未知，但论文强调了在相关任务上的显著提升。

🎯 应用场景

X-Former的潜在应用领域包括视觉问答、图像描述、视觉推理等。通过提升MLLM的视觉理解能力，可以使其在这些任务中表现更好。此外，X-Former还可以应用于机器人导航、自动驾驶等需要精确视觉感知的领域，提高系统的鲁棒性和准确性。未来，X-Former有望成为MLLM视觉表征学习的标准模块。

📄 摘要（原文）

Recent advancements in Multimodal Large Language Models (MLLMs) have revolutionized the field of vision-language understanding by integrating visual perception capabilities into Large Language Models (LLMs). The prevailing trend in this field involves the utilization of a vision encoder derived from vision-language contrastive learning (CL), showing expertise in capturing overall representations while facing difficulties in capturing detailed local patterns. In this work, we focus on enhancing the visual representations for MLLMs by combining high-frequency and detailed visual representations, obtained through masked image modeling (MIM), with semantically-enriched low-frequency representations captured by CL. To achieve this goal, we introduce X-Former which is a lightweight transformer module designed to exploit the complementary strengths of CL and MIM through an innovative interaction mechanism. Specifically, X-Former first bootstraps vision-language representation learning and multimodal-to-multimodal generative learning from two frozen vision encoders, i.e., CLIP-ViT (CL-based) and MAE-ViT (MIM-based). It further bootstraps vision-to-language generative learning from a frozen LLM to ensure visual features from X-Former can be interpreted by the LLM. To demonstrate the effectiveness of our approach, we assess its performance on tasks demanding detailed visual understanding. Extensive evaluations indicate that X-Former excels in visual reasoning tasks involving both structural and semantic categories in the GQA dataset. Assessment on fine-grained visual perception benchmark further confirms its superior capabilities in visual understanding.