ELIP: Enhanced Visual-Language Foundation Models for Image Retrieval

📄 arXiv: 2502.15682v3 📥 PDF

作者: Guanqi Zhan, Yuanpei Liu, Kai Han, Weidi Xie, Andrew Zisserman

分类: cs.CV

发布日期: 2025-02-21 (更新: 2025-10-18)

备注: Accepted by CBMI 2025 (IEEE International Conference on Content-Based Multimedia Indexing)

💡 一句话要点

ELIP：增强视觉-语言基础模型，提升图像检索性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像检索 视觉-语言模型 预训练模型 对比学习 零样本学习

📋 核心要点

  1. 现有视觉-语言模型在文本到图像检索任务中，泛化能力和对复杂场景的理解存在不足。
  2. ELIP通过文本查询预测视觉提示，调节ViT图像编码，增强模型对图像特征的理解和利用。
  3. 实验表明，ELIP显著提升了CLIP等模型的检索性能，并在OOD数据集上表现出良好的泛化能力。

📝 摘要（中文）

本文旨在提升文本到图像检索的性能。为此，我们提出了一个新框架，可以提升大规模预训练视觉-语言模型的性能，使其能够用于文本到图像的重排序。该方法名为增强语言-图像预训练（ELIP），通过一个简单的MLP映射网络，利用文本查询来预测一组视觉提示，从而调节ViT图像编码。ELIP可以轻松应用于常用的CLIP、SigLIP和BLIP-2网络。为了在有限的计算资源下训练该架构，我们开发了一种“学生友好”的最佳实践，包括全局困难样本挖掘和大规模数据集的整理。在评估方面，我们建立了两个新的分布外（OOD）基准，即遮挡COCO和ImageNet-R，以评估模型对不同领域的零样本泛化能力。结果表明，ELIP显著提升了CLIP/SigLIP/SigLIP-2的文本到图像检索性能，并在多个基准测试中优于BLIP-2，同时提供了一种适应OOD数据集的简便方法。

🔬 方法详解

问题定义：本文旨在解决文本到图像检索任务中，现有视觉-语言模型性能不足的问题。特别是，这些模型在处理分布外（OOD）数据时，泛化能力较差，并且对复杂场景的理解能力有限。现有方法通常直接使用预训练的视觉-语言模型进行检索，缺乏对图像特征的细粒度控制和优化。

核心思路：ELIP的核心思路是利用文本查询来生成视觉提示，从而引导图像编码器提取与查询相关的图像特征。通过这种方式，模型可以更加关注图像中与文本描述相关的区域或对象，从而提高检索的准确性和鲁棒性。这种方法类似于在图像编码过程中引入了一种“注意力”机制，使得模型能够更好地理解文本和图像之间的关系。

技术框架：ELIP的整体框架包括以下几个主要模块：1) 文本编码器：用于将文本查询编码成向量表示。2) 视觉提示生成器：一个简单的MLP网络，将文本向量映射为一组视觉提示。3) 图像编码器：一个ViT模型，接收图像和视觉提示作为输入，生成图像的向量表示。4) 检索模块：计算文本向量和图像向量之间的相似度，并根据相似度进行排序。训练过程中，使用对比学习损失函数，鼓励相似的文本和图像具有相近的向量表示。

关键创新：ELIP的关键创新在于引入了视觉提示的概念，并使用文本查询来动态生成这些提示。与传统的视觉-语言模型相比，ELIP能够更加灵活地控制图像编码过程，并根据不同的文本查询自适应地调整图像特征的提取方式。此外，ELIP还提出了一种“学生友好”的训练策略，包括全局困难样本挖掘和大规模数据集的整理，使得模型能够在有限的计算资源下进行有效训练。

关键设计：视觉提示生成器是一个简单的多层感知机（MLP），其输入是文本编码器的输出向量，输出是一组视觉提示向量。这些视觉提示向量被添加到ViT模型的输入图像块中，从而调节图像编码过程。为了提高训练效率，ELIP采用了全局困难样本挖掘策略，即在每个batch中选择最难区分的负样本进行训练。此外，ELIP还使用了大规模数据集进行预训练，以提高模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ELIP显著提升了CLIP、SigLIP和BLIP-2等模型的文本到图像检索性能。在COCO数据集上，ELIP将CLIP的检索准确率提高了5%以上。在OOD数据集（Occluded COCO和ImageNet-R）上，ELIP也表现出良好的泛化能力，优于其他基线模型。此外，ELIP的“学生友好”训练策略使得模型能够在有限的计算资源下进行有效训练。

🎯 应用场景

ELIP在图像检索、跨模态理解等领域具有广泛的应用前景。例如，可以应用于电商平台的商品搜索、智能客服的图像理解、以及医学图像的诊断辅助等。通过提升文本到图像检索的准确性和鲁棒性，ELIP可以为用户提供更加精准和高效的信息服务，并促进人工智能技术在各个领域的应用。

📄 摘要（原文）

The objective in this paper is to improve the performance of text-to-image retrieval. To this end, we introduce a new framework that can boost the performance of large-scale pre-trained vision-language models, so that they can be used for text-to-image re-ranking. The approach, Enhanced Language-Image Pre-training (ELIP), uses the text query, via a simple MLP mapping network, to predict a set of visual prompts to condition the ViT image encoding. ELIP can easily be applied to the commonly used CLIP, SigLIP and BLIP-2 networks. To train the architecture with limited computing resources, we develop a 'student friendly' best practice, involving global hard sample mining, and curation of a large-scale dataset. On the evaluation side, we set up two new out-of-distribution (OOD) benchmarks, Occluded COCO and ImageNet-R, to assess the zero-shot generalisation of the models to different domains. The results demonstrate that ELIP significantly boosts CLIP/SigLIP/SigLIP-2 text-to-image retrieval performance and outperforms BLIP-2 on several benchmarks, as well as providing an easy means to adapt to OOD datasets.