Vision-by-Language for Training-Free Compositional Image Retrieval

📄 arXiv: 2310.09291v2 📥 PDF

作者: Shyamgopal Karthik, Karsten Roth, Massimiliano Mancini, Zeynep Akata

分类: cs.CV

发布日期: 2023-10-13 (更新: 2024-02-26)

备注: ICLR 2024

💡 一句话要点

提出CIReVL以解决训练依赖的组合图像检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 组合图像检索 无监督学习 视觉-语言模型 大型语言模型 模块化设计

📋 核心要点

  1. 现有的组合图像检索方法依赖于大量标注数据，成本高且效率低，限制了其应用。
  2. 本文提出的CIReVL方法通过结合预训练的生成VLM和LLM，实现了无训练的组合图像检索，简化了流程。
  3. 在四个ZS-CIR基准测试中，CIReVL的性能与最先进的方法相当，且在某些方面超越了监督学习方法。

📝 摘要（中文）

组合图像检索（CIR）旨在根据给定图像和目标修改（如“无人的埃菲尔铁塔夜景”）从数据库中检索相关图像。现有的监督方法依赖于标注三元组，成本高昂。尽管最近的研究通过大规模视觉-语言模型（VLMs）实现了零-shot CIR（ZS-CIR），但仍需针对特定任务训练定制模型。本文提出了一种无训练的CIReVL方法，通过将大规模VLM与大型语言模型（LLMs）有效结合，实现模块化语言推理。在四个ZS-CIR基准测试中，CIReVL表现出竞争力，部分超越了监督方法，并且其模块化设计使得扩展变得简单，无需重新训练。

🔬 方法详解

问题定义：本文解决的是组合图像检索（CIR）中的训练依赖问题。现有方法需要大量标注的图像-文本三元组，导致高昂的成本和低效的训练过程。

核心思路：CIReVL通过无训练的方式，利用预训练的生成视觉-语言模型（VLM）和大型语言模型（LLM）进行组合图像检索。该方法通过对参考图像进行标注，并根据文本目标修改重组标注，从而实现检索。

技术框架：CIReVL的整体架构包括三个主要模块：首先，使用预训练的生成VLM对参考图像进行标注；其次，利用LLM根据目标修改重组标注；最后，通过如CLIP等模型进行检索。

关键创新：CIReVL的主要创新在于其无训练的模块化设计，使得系统能够在不重新训练的情况下进行扩展，并且能够对检索结果进行后期干预，提升了人类可理解性。

关键设计：在设计中，CIReVL采用了预训练的VLM进行图像标注，LLM进行文本重组，确保了系统的灵活性和可扩展性。具体的参数设置和损失函数未在摘要中详细说明，需参考完整论文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个ZS-CIR基准测试中，CIReVL展现出竞争力的性能，部分超越了现有的监督学习方法，尤其在某些任务上提升幅度超过了两倍，显示出其优越的扩展性和有效性。

🎯 应用场景

该研究的潜在应用领域包括图像搜索引擎、电子商务平台和社交媒体等，能够帮助用户更高效地找到符合特定描述的图像。未来，CIReVL的模块化设计可能会推动更多无监督学习方法的发展，降低数据标注的需求。

📄 摘要（原文）

Given an image and a target modification (e.g an image of the Eiffel tower and the text "without people and at night-time"), Compositional Image Retrieval (CIR) aims to retrieve the relevant target image in a database. While supervised approaches rely on annotating triplets that is costly (i.e. query image, textual modification, and target image), recent research sidesteps this need by using large-scale vision-language models (VLMs), performing Zero-Shot CIR (ZS-CIR). However, state-of-the-art approaches in ZS-CIR still require training task-specific, customized models over large amounts of image-text pairs. In this work, we propose to tackle CIR in a training-free manner via our Compositional Image Retrieval through Vision-by-Language (CIReVL), a simple, yet human-understandable and scalable pipeline that effectively recombines large-scale VLMs with large language models (LLMs). By captioning the reference image using a pre-trained generative VLM and asking a LLM to recompose the caption based on the textual target modification for subsequent retrieval via e.g. CLIP, we achieve modular language reasoning. In four ZS-CIR benchmarks, we find competitive, in-part state-of-the-art performance - improving over supervised methods. Moreover, the modularity of CIReVL offers simple scalability without re-training, allowing us to both investigate scaling laws and bottlenecks for ZS-CIR while easily scaling up to in parts more than double of previously reported results. Finally, we show that CIReVL makes CIR human-understandable by composing image and text in a modular fashion in the language domain, thereby making it intervenable, allowing to post-hoc re-align failure cases. Code will be released upon acceptance.