IntCoOp: Interpretability-Aware Vision-Language Prompt Tuning

📄 arXiv: 2406.13683v1 📥 PDF

作者: Soumya Suvra Ghosal, Samyadeep Basu, Soheil Feizi, Dinesh Manocha

分类: cs.CV, cs.AI

发布日期: 2024-06-19

💡 一句话要点

IntCoOp：一种可解释的视觉-语言提示调优方法，提升图像-文本对齐。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 提示调优 可解释性 归纳偏置 少样本学习

📋 核心要点

  1. 现有提示调优方法缺乏可解释性，难以理解图像的组合属性，限制了其性能。
  2. IntCoOp通过联合对齐属性级别的归纳偏置和类嵌入，实现可解释的提示调优。
  3. 实验表明，IntCoOp在少样本学习中优于现有方法，平均性能提升显著。

📝 摘要（中文）

图像-文本对比模型，如CLIP，为各种下游任务学习可迁移和鲁棒的零样本表示。然而，为了获得强大的下游性能，需要仔细设计提示，这可能是一项繁琐的工程任务。为了解决手动提示工程的问题，提示调优被使用，其中一组上下文向量通过利用来自训练数据的信息来学习。尽管它们有效，但现有的提示调优框架通常缺乏可解释性，从而限制了它们理解图像的组合性质的能力。在这项工作中，我们首先发现，在手动提示的设计中加入组合属性（例如，“绿色”树蛙）可以显著提高图像-文本对齐分数。基于这一观察，我们提出了一种新的、可解释的提示调优方法，名为IntCoOp，它学习在提示调优期间联合对齐属性级别的归纳偏置和类嵌入。为了评估我们方法的有效性，我们在少样本学习设置中评估IntCoOp在两个代表性任务上的表现：泛化到新的类别和未见过的领域转移。通过在CLIP上的10个下游数据集上进行的大量实验，我们发现引入属性级别的归纳偏置可以带来优于最先进的提示调优框架的性能。值得注意的是，在16-shot设置中，IntCoOp在10个不同的数据集上的平均性能比CoOp提高了7.35%。

🔬 方法详解

问题定义：现有的提示调优方法在视觉-语言模型中缺乏可解释性，难以捕捉图像的组合属性，导致下游任务性能受限。手动设计的提示工程繁琐且依赖经验，难以自动化和泛化。

核心思路：论文的核心思路是利用图像的组合属性（例如颜色、形状、材质等）作为归纳偏置，指导提示调优过程。通过将属性信息融入到提示中，模型可以更好地理解图像内容，从而提高图像-文本对齐的准确性。这样设计的目的是为了提高模型的可解释性和泛化能力。

技术框架：IntCoOp框架主要包含以下几个模块：1) 属性提取模块：用于提取图像的属性信息。2) 提示生成模块：根据提取的属性信息生成初始提示。3) 提示调优模块：通过优化目标函数，调整提示中的参数，使得图像和文本的对齐程度最大化。4) 分类模块：利用调整后的提示进行图像分类。整体流程是先提取图像属性，然后生成初始提示，再通过调优模块优化提示，最后进行分类。

关键创新：IntCoOp的关键创新在于将属性级别的归纳偏置融入到提示调优过程中。与传统的提示调优方法不同，IntCoOp不仅学习类别的嵌入表示，还学习属性的嵌入表示，并将两者联合对齐。这种方法可以提高模型对图像组合属性的理解能力，从而提高图像-文本对齐的准确性。

关键设计：IntCoOp的关键设计包括：1) 属性提取模块的设计，需要选择合适的属性和提取方法。2) 提示生成模块的设计，需要考虑如何将属性信息有效地融入到提示中。3) 提示调优模块的目标函数设计，需要平衡类别对齐和属性对齐。4) 损失函数的设计，需要考虑如何惩罚错误的属性预测和类别预测。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

IntCoOp在10个不同的下游数据集上进行了广泛的实验，结果表明，引入属性级别的归纳偏置可以带来优于最先进的提示调优框架的性能。在16-shot设置中，IntCoOp在10个不同的数据集上的平均性能比CoOp提高了7.35%。这表明IntCoOp能够有效地利用图像的组合属性，提高图像-文本对齐的准确性。

🎯 应用场景

IntCoOp可应用于各种视觉-语言任务，如图像分类、图像检索、视觉问答等。其可解释性使得模型更容易调试和优化，有助于提高模型的可靠性和安全性。未来，该方法有望应用于自动驾驶、智能医疗等领域，提升人工智能系统的智能化水平。

📄 摘要（原文）

Image-text contrastive models such as CLIP learn transferable and robust representations for zero-shot transfer to a variety of downstream tasks. However, to obtain strong downstream performances, prompts need to be carefully curated, which can be a tedious engineering task. To address the issue of manual prompt engineering, prompt-tuning is used where a set of contextual vectors are learned by leveraging information from the training data. Despite their effectiveness, existing prompt-tuning frameworks often lack interpretability, thus limiting their ability to understand the compositional nature of images. In this work, we first identify that incorporating compositional attributes (e.g., a "green" tree frog) in the design of manual prompts can significantly enhance image-text alignment scores. Building upon this observation, we propose a novel and interpretable prompt-tuning method named IntCoOp, which learns to jointly align attribute-level inductive biases and class embeddings during prompt-tuning. To assess the effectiveness of our approach, we evaluate IntCoOp across two representative tasks in a few-shot learning setup: generalization to novel classes, and unseen domain shifts. Through extensive experiments across 10 downstream datasets on CLIP, we find that introducing attribute-level inductive biases leads to superior performance against state-of-the-art prompt tuning frameworks. Notably, in a 16-shot setup, IntCoOp improves CoOp by 7.35% in average performance across 10 diverse datasets.