Harnessing Frozen Unimodal Encoders for Flexible Multimodal Alignment
作者: Mayug Maniparambil, Raiymbek Akshulakov, Yasser Abdelaziz Dahou Djilali, Sanath Narayan, Ankit Singh, Noel E. O'Connor
分类: cs.CV
发布日期: 2024-09-28 (更新: 2025-03-23)
备注: Accepted CVPR 2025; First two authors contributed equally;
💡 一句话要点
提出基于冻结单模态编码器的多模态对齐框架，降低多模态模型开发成本。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 视觉语言模型 冻结编码器 零样本学习 图像文本检索
📋 核心要点
- 现有的对比多模态视觉-语言模型计算成本高昂，且从头训练的模型并非必需，因为单模态编码器已具备较强的语义理解能力。
- 本文提出一种利用冻结的单模态编码器进行视觉和语言对齐的框架，通过训练简单的MLP投影器实现模态间的连接。
- 实验结果表明，该方法在ImageNet上取得了76%的准确率，同时显著降低了数据和计算资源的需求。
📝 摘要（中文）
本文提出了一种新颖的框架，该框架利用冻结的单模态编码器来实现视觉和语言的对齐。该方法首先在潜在空间中选择语义相似的编码器，然后构建一个包含丰富概念的图像-文本对数据集，最后训练简单的MLP投影器。在12个零样本分类数据集和2个图像-文本检索数据集上的评估结果表明，使用DINOv2图像编码器和All-Roberta-Large文本编码器的最佳模型在ImageNet上实现了76%的准确率，与从头开始训练的多模态对齐方法相比，数据量减少了20倍，计算量减少了65倍。该框架增强了多模态模型开发的可访问性，并能够灵活地适应各种场景。代码和数据集已在github上开源。
🔬 方法详解
问题定义：现有的多模态视觉-语言模型，如CLIP，通常需要从头开始训练，计算资源消耗巨大。论文旨在探索是否可以利用预训练的、冻结的单模态编码器，通过更高效的方式实现视觉和语言的对齐，从而降低多模态模型开发的门槛。现有方法的痛点在于训练成本高，数据需求量大。
核心思路：论文的核心思路是利用预训练好的、冻结的单模态编码器（例如DINOv2和All-Roberta-Large），这些编码器已经具备了强大的语义表征能力。通过训练简单的MLP投影器，将不同模态的特征映射到统一的潜在空间，从而实现视觉和语言的对齐。这样可以避免从头训练整个模型，大大降低了计算成本和数据需求。
技术框架：整体框架包含以下几个主要步骤：1) 选择语义相似的编码器：在潜在空间中选择语义上对齐的视觉和语言编码器。2) 构建概念丰富的图像-文本对数据集：使用特定的策略（具体策略未知）来构建一个包含丰富概念的图像-文本对数据集，用于训练投影器。3) 训练MLP投影器：使用构建的数据集训练简单的MLP投影器，将视觉和语言特征映射到统一的潜在空间。4) 评估：在零样本分类和图像-文本检索任务上评估模型的性能。
关键创新：最重要的技术创新点在于利用冻结的单模态编码器进行多模态对齐。与从头训练的多模态模型相比，该方法显著降低了计算成本和数据需求，同时保持了良好的性能。这种方法使得多模态模型开发更加容易，也更具可扩展性。
关键设计：论文中关键的设计包括：1) 编码器的选择：选择了DINOv2作为图像编码器，All-Roberta-Large作为文本编码器，可能是因为它们在各自模态上具有强大的表征能力。2) 数据集的构建：构建了一个概念丰富的图像-文本对数据集，具体构建方法未知。3) MLP投影器的结构：使用了简单的MLP作为投影器，具体结构未知。4) 损失函数：损失函数的具体形式未知，但推测可能是对比学习损失或者其他能够促进模态对齐的损失函数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用DINOv2和All-Roberta-Large文本编码器的模型在ImageNet上实现了76%的准确率。与从头开始训练的多模态对齐方法相比，该方法的数据需求减少了20倍，计算需求减少了65倍。这些结果表明，该方法在降低计算成本和数据需求的同时，仍然能够保持良好的性能。
🎯 应用场景
该研究成果可广泛应用于图像描述生成、视觉问答、跨模态检索等领域。通过降低多模态模型开发的成本，可以促进更多研究者和开发者参与到相关领域的研究和应用中。未来，该方法可以扩展到其他模态，例如音频、视频等，实现更广泛的多模态理解和应用。
📄 摘要（原文）
Recent contrastive multimodal vision-language models like CLIP have demonstrated robust open-world semantic understanding, becoming the standard image backbones for vision-language applications. However, recent findings suggest high semantic similarity between well-trained unimodal encoders, which raises a key question: Is there a plausible way to connect unimodal backbones for vision-language tasks? To this end, we propose a novel framework that aligns vision and language using frozen unimodal encoders. It involves selecting semantically similar encoders in the latent space, curating a concept-rich dataset of image-caption pairs, and training simple MLP projectors. We evaluated our approach on 12 zero-shot classification datasets and 2 image-text retrieval datasets. Our best model, utilizing DINOv2 and All-Roberta-Large text encoder, achieves 76(\%) accuracy on ImageNet with a 20-fold reduction in data and 65-fold reduction in compute requirements compared multi-modal alignment where models are trained from scratch. The proposed framework enhances the accessibility of multimodal model development while enabling flexible adaptation across diverse scenarios. Code and curated datasets are available at \texttt{github.com/mayug/freeze-align}.