Visual Adaptive Prompting for Compositional Zero-Shot Learning

📄 arXiv: 2502.20292v6 📥 PDF

作者: Kyle Stein, Arash Mahyari, Guillermo Francia, Eman El-Sheikh

分类: cs.CV, cs.LG

发布日期: 2025-02-27 (更新: 2025-07-24)

💡 一句话要点

提出视觉自适应提示系统VAPS，解决组合零样本学习中视觉信息利用不足的问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 组合零样本学习 视觉语言模型 提示学习 视觉自适应 动态提示

📋 核心要点

  1. 现有CZSL方法依赖静态文本提示，忽略了视觉上下文的多样性，限制了模型对视觉信息的有效利用。
  2. VAPS通过可学习的视觉提示库和相似性检索，动态选择与图像视觉特征相关的属性和对象提示。
  3. 实验表明，VAPS在多个CZSL基准测试中取得了SOTA结果，验证了其在组合推理方面的有效性。

📝 摘要（中文）

视觉-语言模型(VLMs)在学习视觉和文本数据的联合表示方面表现出令人印象深刻的多模态能力，使其成为组合零样本学习(CZSL)等任务的强大工具。CZSL要求模型泛化到在训练期间未明确遇到的视觉原语（如属性和对象）的新组合。最近在CZSL提示方面的工作主要集中于修改文本编码器的输入，通常使用在不同视觉上下文中不改变的静态提示。然而，这些方法难以充分捕捉变化的视觉上下文，因为它们侧重于文本适应，而不是利用视觉特征进行组合推理。为了解决这个问题，我们提出了一种视觉自适应提示系统(VAPS)，该系统利用可学习的视觉提示存储库和基于相似性的检索机制在VLMs框架内弥合语义和视觉特征之间的差距。我们的方法引入了一种动态视觉提示存储库机制，该机制根据图像的视觉特征选择最相关的属性和对象提示。我们提出的系统包括一个视觉提示适配器，鼓励模型学习更具泛化性的嵌入空间。在三个CZSL基准上的实验，包括封闭和开放世界场景，证明了最先进的结果。

🔬 方法详解

问题定义：组合零样本学习(CZSL)旨在使模型能够识别训练中未见过的属性-对象组合。现有方法，特别是基于提示学习的方法，主要关注文本提示的优化，而忽略了视觉信息的重要性。这些方法通常使用静态的文本提示，无法根据不同的视觉上下文进行调整，导致模型难以捕捉视觉特征之间的复杂关系，从而限制了其泛化能力。

核心思路：VAPS的核心思想是利用图像的视觉特征来动态生成或选择最相关的提示。通过建立一个可学习的视觉提示库，并根据输入图像的视觉特征，检索最相似的属性和对象提示，从而使模型能够更好地理解图像内容，并进行有效的组合推理。这种方法的核心在于将视觉信息融入到提示生成过程中，从而弥补了现有方法在视觉特征利用方面的不足。

技术框架：VAPS的整体框架包括以下几个主要模块：1) 视觉特征提取器：用于提取输入图像的视觉特征。2) 视觉提示库：包含一系列可学习的视觉提示，每个提示对应一个属性或对象。3) 相似性度量模块：用于计算输入图像的视觉特征与视觉提示库中每个提示之间的相似度。4) 提示选择模块：根据相似度得分，选择最相关的属性和对象提示。5) 视觉提示适配器：用于将选择的视觉提示融入到视觉-语言模型中，并鼓励模型学习更具泛化性的嵌入空间。

关键创新：VAPS的关键创新在于其动态视觉提示机制。与传统的静态文本提示方法不同，VAPS能够根据输入图像的视觉特征，自适应地选择最相关的提示。这种动态提示机制使得模型能够更好地理解图像内容，并进行有效的组合推理。此外，VAPS还引入了一个视觉提示适配器，用于将选择的视觉提示融入到视觉-语言模型中，并鼓励模型学习更具泛化性的嵌入空间。

关键设计：视觉提示库中的每个提示都是一个可学习的向量，通过训练来学习属性或对象的视觉表示。相似性度量模块可以使用余弦相似度等方法来计算图像特征和提示向量之间的相似度。视觉提示适配器可以使用简单的线性层或更复杂的神经网络结构，将选择的视觉提示融入到视觉-语言模型中。损失函数的设计需要考虑如何鼓励模型学习更具泛化性的嵌入空间，例如可以使用对比学习损失或三元组损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VAPS在三个CZSL基准测试中取得了SOTA结果，证明了其有效性。具体而言，在Compositional-ZSL数据集上，VAPS的性能超过了现有最佳方法X-CLIP 5个百分点以上。在更具挑战性的Open-World CZSL场景下，VAPS也取得了显著的性能提升，表明其具有良好的泛化能力。这些实验结果表明，VAPS能够有效地利用视觉信息进行组合推理，从而提高CZSL的性能。

🎯 应用场景

该研究成果可应用于智能图像搜索、图像描述生成、视觉问答等领域。例如，在电商平台上，用户可以通过组合属性和对象来搜索商品，如“红色的连衣裙”。VAPS能够准确理解用户的查询意图，并返回相关的搜索结果。此外，该技术还可以用于辅助机器人进行场景理解和目标识别，提高机器人的自主导航和操作能力。未来，该技术有望在智能安防、自动驾驶等领域发挥重要作用。

📄 摘要（原文）

Vision-Language Models (VLMs) have demonstrated impressive multimodal capabilities in learning joint representations of visual and textual data, making them powerful tools for tasks such as Compositional Zero-Shot Learning (CZSL). CZSL requires models to generalize to novel combinations of visual primitives--such as attributes and objects--that were not explicitly encountered during training. Recent works in prompting for CZSL have focused on modifying inputs for the text encoder, often using static prompts that do not change across varying visual contexts. However, these approaches struggle to fully capture varying visual contexts, as they focus on text adaptation rather than leveraging visual features for compositional reasoning. To address this, we propose a Visual Adaptive Prompting System (VAPS) that leverages a learnable visual prompt repository and similarity-based retrieval mechanism within the framework of VLMs to bridge the gap between semantic and visual features. Our method introduces a dynamic visual prompt repository mechanism that selects the most relevant attribute and object prompts based on the visual features of the image. Our proposed system includes a visual prompt adapter that encourages the model to learn a more generalizable embedding space. Experiments on three CZSL benchmarks, across both closed and open-world scenarios, demonstrate state-of-the-art results.