Visual-Text Cross Alignment: Refining the Similarity Score in Vision-Language Models

📄 arXiv: 2406.02915v1 📥 PDF

作者: Jinhao Li, Haopeng Li, Sarah Erfani, Lei Feng, James Bailey, Feng Liu

分类: cs.CV, cs.LG

发布日期: 2024-06-05

备注: 22 pages, 16 figures, published to ICML 2024

💡 一句话要点

提出加权视觉-文本交叉对齐方法，提升视觉-语言模型零样本性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 零样本学习 交叉对齐 局部视觉提示 加权相似度

📋 核心要点

  1. 现有方法使用VLM将整图与细粒度文本描述对齐，忽略了局部区域对齐的有效性。
  2. 提出加权视觉-文本交叉对齐（WCA）方法，利用局部视觉提示和加权相似度评分函数。
  3. 实验表明，WCA显著提升了零样本性能，结果可与少样本学习方法媲美。

📝 摘要（中文）

本文发现，使用预训练视觉-语言模型（VLM），如CLIP，将整个查询图像与大型语言模型生成的更精细的文本描述对齐，可以显著提高零样本性能。然而，我们通过实验发现，这些更精细的描述更倾向于与查询图像的局部区域对齐，而非整个图像，并通过理论验证了这一发现。因此，我们提出了一种名为加权视觉-文本交叉对齐（WCA）的方法。该方法首先采用局部视觉提示技术，以识别查询图像中的局部视觉区域。然后，通过使用预训练的VLM创建一个相似性矩阵，将局部视觉区域与更精细的描述进行交叉对齐。为了确定查询图像与每个类别的对齐程度，我们开发了一个基于该矩阵中加权相似度的评分函数。大量实验表明，我们的方法显著提高了各种数据集上的零样本性能，甚至可以与少样本学习方法相媲美。

🔬 方法详解

问题定义：论文旨在解决视觉-语言模型中，使用预训练模型（如CLIP）进行零样本图像分类时，将整张图像与细粒度文本描述对齐的次优问题。现有方法忽略了图像局部区域与文本描述之间更强的相关性，导致整体对齐效果不佳。

核心思路：论文的核心思路是，图像的细粒度文本描述更倾向于与图像的局部区域对齐，而非整个图像。因此，通过关注图像的局部区域，并对局部区域与文本描述的相似度进行加权，可以更准确地评估图像与文本描述之间的相关性。

技术框架：WCA方法主要包含以下几个阶段：1. 局部视觉提示：使用局部视觉提示技术，识别查询图像中的显著局部区域。2. 视觉-文本交叉对齐：利用预训练的VLM（如CLIP），计算每个局部区域与每个细粒度文本描述之间的相似度，构建相似度矩阵。3. 加权相似度评分：基于相似度矩阵，计算每个类别对应的加权相似度得分，作为图像属于该类别的置信度。

关键创新：该方法最重要的创新点在于，它将图像的局部区域与细粒度文本描述进行对齐，并使用加权相似度来评估整体的对齐程度。这与现有方法中直接将整张图像与文本描述对齐的方式有本质区别，更符合图像与文本之间的实际关系。

关键设计：局部视觉提示的具体实现方式（例如，使用显著性检测算法或目标检测算法）。相似度矩阵的构建方式，以及如何利用预训练VLM提取视觉和文本特征。加权相似度评分函数的具体形式，例如，可以使用注意力机制来学习不同局部区域的重要性权重。损失函数的设计，用于优化局部视觉提示模块（如果需要训练）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，WCA方法在多个零样本图像分类数据集上取得了显著的性能提升，例如在某些数据集上甚至可以达到与少样本学习方法相媲美的效果。与直接使用CLIP进行零样本分类相比，WCA方法能够显著提高分类准确率，证明了局部区域对齐和加权相似度评分的有效性。

🎯 应用场景

该研究成果可应用于零样本图像分类、图像检索、视觉问答等领域。通过提升视觉-语言模型的零样本性能，可以减少对标注数据的依赖，降低模型部署成本，并拓展模型在数据稀缺场景下的应用范围。未来，该方法有望应用于机器人视觉、自动驾驶等领域，提升机器对复杂环境的理解和交互能力。

📄 摘要（原文）

It has recently been discovered that using a pre-trained vision-language model (VLM), e.g., CLIP, to align a whole query image with several finer text descriptions generated by a large language model can significantly enhance zero-shot performance. However, in this paper, we empirically find that the finer descriptions tend to align more effectively with local areas of the query image rather than the whole image, and then we theoretically validate this finding. Thus, we present a method called weighted visual-text cross alignment (WCA). This method begins with a localized visual prompting technique, designed to identify local visual areas within the query image. The local visual areas are then cross-aligned with the finer descriptions by creating a similarity matrix using the pre-trained VLM. To determine how well a query image aligns with each category, we develop a score function based on the weighted similarities in this matrix. Extensive experiments demonstrate that our method significantly improves zero-shot performance across various datasets, achieving results that are even comparable to few-shot learning methods.