IDEA: Image Description Enhanced CLIP-Adapter

📄 arXiv: 2501.08816v2 📥 PDF

作者: Zhipeng Ye, Feng Jiang, Qiufeng Wang, Kaizhu Huang, Jiaqi Huang

分类: cs.CV, cs.AI, cs.LG

发布日期: 2025-01-15 (更新: 2025-01-19)

🔗 代码/项目: GITHUB

💡 一句话要点

提出IDEA：一种图像描述增强的CLIP-Adapter，用于提升小样本图像分类性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: CLIP-Adapter 图像描述 小样本学习 多模态学习 图像分类 Llama模型 特征融合

📋 核心要点

  1. 现有方法在迁移CLIP到下游任务时，未能充分利用图像和文本描述之间的互补信息，限制了模型性能。
  2. IDEA方法通过融合图像的视觉特征和文本描述，捕获细粒度特征，从而提升CLIP在少样本图像分类任务中的性能。
  3. IDEA及其可训练版本T-IDEA在多个数据集上取得了优异的性能，甚至超越了现有最先进的模型。

📝 摘要（中文）

CLIP（对比语言-图像预训练）在模式识别和计算机视觉领域取得了巨大成功。将CLIP迁移到下游任务（例如，零样本或少样本分类）是多模态学习中的一个热门话题。然而，目前的研究主要集中在文本的提示学习或视觉的适配器调整，而没有充分利用图像-文本对之间的互补信息和相关性。本文提出了一种图像描述增强的CLIP-Adapter（IDEA）方法，以使CLIP适应少样本图像分类任务。该方法通过利用视觉特征和图像的文本描述来捕获细粒度的特征。IDEA是一种免训练的CLIP方法，它可以在多个任务上与最先进的模型相媲美甚至超越。此外，我们引入了Trainable-IDEA（T-IDEA），它通过添加两个轻量级的可学习组件（即，一个投影器和一个可学习的潜在空间）来扩展IDEA，进一步增强了模型的性能，并在11个数据集上实现了SOTA结果。作为一项重要贡献，我们采用Llama模型并设计了一个全面的流程来生成11个数据集的图像的文本描述，总共产生了1,637,795个图像-文本对，命名为“IMD-11”。我们的代码和数据已在https://github.com/FourierAI/IDEA上发布。

🔬 方法详解

问题定义：论文旨在解决小样本图像分类问题，现有方法如prompt learning和adapter tuning，未能充分利用图像和文本描述之间的互补信息，导致模型性能受限。这些方法通常只关注视觉或文本模态的单一信息，忽略了二者之间的关联性。

核心思路：论文的核心思路是利用图像的文本描述来增强CLIP模型的视觉特征表示。通过融合视觉特征和文本描述，模型可以学习到更细粒度的图像特征，从而提高小样本分类的准确性。这种方法旨在弥补现有方法对图像-文本关联性利用不足的缺陷。

技术框架：IDEA方法主要包含两个阶段：首先，利用预训练的CLIP模型提取图像的视觉特征。然后，利用图像的文本描述来增强这些视觉特征。具体来说，IDEA首先使用Llama模型生成图像的文本描述，然后将文本描述编码为文本特征。最后，将视觉特征和文本特征进行融合，得到增强的图像表示。T-IDEA则在IDEA的基础上增加了可学习的投影层和潜在空间，进一步提升模型性能。

关键创新：该论文的关键创新在于提出了图像描述增强的CLIP-Adapter（IDEA）方法，它能够有效地融合图像的视觉特征和文本描述，从而提高小样本图像分类的性能。与现有方法相比，IDEA充分利用了图像-文本对之间的互补信息，从而能够学习到更细粒度的图像特征。此外，论文还提出了Trainable-IDEA（T-IDEA），通过引入可学习的组件进一步提升了模型性能。

关键设计：论文的关键设计包括：1) 使用Llama模型生成高质量的图像文本描述；2) 设计了一种有效的融合机制，将视觉特征和文本特征进行融合；3) 在T-IDEA中引入了可学习的投影层和潜在空间，以进一步提升模型性能。具体参数设置和网络结构细节在论文中进行了详细描述，例如Llama模型的具体配置，投影层和潜在空间的维度等。损失函数未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

IDEA方法在多个小样本图像分类数据集上取得了显著的性能提升，与现有最先进的模型相比，在某些数据集上甚至实现了超越。T-IDEA通过引入可学习组件，进一步提升了模型性能，并在11个数据集上取得了SOTA结果。IMD-11数据集的构建也为后续研究提供了宝贵的数据资源。

🎯 应用场景

该研究成果可广泛应用于图像识别、图像检索、智能监控等领域。通过利用图像的文本描述，可以提高模型在小样本场景下的泛化能力，从而降低对大量标注数据的依赖。该方法在医疗影像分析、遥感图像处理等数据稀缺的领域具有重要的应用价值。

📄 摘要（原文）

CLIP (Contrastive Language-Image Pre-training) has attained great success in pattern recognition and computer vision. Transferring CLIP to downstream tasks (e.g. zero- or few-shot classification) is a hot topic in multimodal learning. However, current studies primarily focus on either prompt learning for text or adapter tuning for vision, without fully exploiting the complementary information and correlations among image-text pairs. In this paper, we propose an Image Description Enhanced CLIP-Adapter (IDEA) method to adapt CLIP to few-shot image classification tasks. This method captures fine-grained features by leveraging both visual features and textual descriptions of images. IDEA is a training-free method for CLIP, and it can be comparable to or even exceeds state-of-the-art models on multiple tasks. Furthermore, we introduce Trainable-IDEA (T-IDEA), which extends IDEA by adding two lightweight learnable components (i.e., a projector and a learnable latent space), further enhancing the model's performance and achieving SOTA results on 11 datasets. As one important contribution, we employ the Llama model and design a comprehensive pipeline to generate textual descriptions for images of 11 datasets, resulting in a total of 1,637,795 image-text pairs, named "IMD-11". Our code and data are released at https://github.com/FourierAI/IDEA.