UMFC: Unsupervised Multi-Domain Feature Calibration for Vision-Language Models

📄 arXiv: 2411.06921v1 📥 PDF

作者: Jiachen Liang, Ruibing Hou, Minyang Hu, Hong Chang, Shiguang Shan, Xilin Chen

分类: cs.CV

发布日期: 2024-11-11

备注: NeurIPS 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出UMFC：一种无监督多域特征校准方法，提升视觉-语言模型在跨域场景下的泛化能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 领域自适应 无监督学习 特征校准 跨域迁移

📋 核心要点

  1. 现有CLIP模型在跨域迁移时性能下降，主要原因是视觉编码器偏向领域信息，文本编码器偏向领域相关类别。
  2. UMFC通过估计并消除图像和文本特征中的领域偏差，从而使模型学习到领域不变的特征表示。
  3. 实验表明，UMFC在多个跨域任务上优于CLIP，且性能与需要额外标注或优化的SOTA方法相当。

📝 摘要（中文）

预训练视觉-语言模型（如CLIP）已展现出强大的零样本迁移能力。然而，它们在面对领域偏移时表现不佳，通常需要标注数据来适应下游任务，这可能代价高昂。本文旨在利用自然跨越多个领域的无标注数据来增强视觉-语言模型的迁移能力。在这种无监督多域设置下，我们发现了CLIP中固有的模型偏差，尤其是在其视觉和文本编码器中。具体而言，我们观察到CLIP的视觉编码器倾向于优先编码领域信息而非判别性类别信息，而其文本编码器则表现出对领域相关类别的偏好。为了缓解这种模型偏差，我们提出了一种无需训练和标注的特征校准方法，即无监督多域特征校准（UMFC）。UMFC从领域特定特征估计图像级别的偏差，并从领域转换的方向估计文本级别的偏差。随后，这些偏差分别从原始图像和文本特征中减去，以使其具有领域不变性。我们在包括转导学习和测试时自适应在内的多种设置下评估了我们的方法。大量实验表明，我们的方法优于CLIP，并且与需要额外标注或优化的最先进方法相比，性能相当。

🔬 方法详解

问题定义：CLIP等视觉-语言模型在零样本学习中表现出色，但当应用于与训练数据分布不同的新领域时，性能会显著下降。现有的领域自适应方法通常需要目标领域的标注数据，这在实际应用中可能不可行或成本高昂。因此，如何在无监督多域场景下提升视觉-语言模型的泛化能力是一个关键问题。

核心思路：论文的核心思路是识别并消除CLIP模型中存在的领域偏差。作者观察到，视觉编码器倾向于编码领域信息而非类别信息，而文本编码器则偏向于领域相关的类别。通过校准图像和文本特征，使其对领域变化不敏感，从而提高模型的跨域泛化能力。

技术框架：UMFC方法主要包含两个阶段：领域偏差估计和特征校准。首先，利用领域特定特征估计图像级别的偏差，并从领域转换的方向估计文本级别的偏差。然后，将这些估计的偏差从原始图像和文本特征中减去，得到领域不变的特征表示。整个过程无需训练或标注数据。

关键创新：UMFC的关键创新在于提出了一种无需训练和标注的特征校准方法，能够有效地消除视觉-语言模型中的领域偏差。与传统的领域自适应方法相比，UMFC不需要目标领域的标注数据，更适用于实际应用场景。此外，UMFC能够同时校准视觉和文本特征，从而更全面地提升模型的跨域泛化能力。

关键设计：UMFC的关键设计包括：1) 使用领域特定特征估计图像级别的偏差，例如可以使用聚类算法将图像特征划分为不同的领域簇，然后计算每个簇的中心作为该领域的偏差；2) 从领域转换的方向估计文本级别的偏差，例如可以通过分析文本描述中与领域相关的词语来确定领域转换的方向；3) 使用简单的减法操作将估计的偏差从原始特征中移除，从而得到领域不变的特征表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UMFC在多个跨域图像分类任务上显著优于CLIP模型。例如，在Office-Home数据集上，UMFC的平均准确率比CLIP提高了5%以上。此外，UMFC的性能与需要额外标注或优化的SOTA方法相比，性能相当，甚至在某些任务上更优。这些结果表明，UMFC是一种有效的无监督多域特征校准方法，能够显著提升视觉-语言模型的跨域泛化能力。

🎯 应用场景

UMFC方法可应用于各种需要跨领域迁移的视觉-语言任务，例如图像分类、图像检索、视觉问答等。该方法尤其适用于缺乏目标领域标注数据的场景，例如医疗图像分析、遥感图像分析等。通过提升视觉-语言模型的跨域泛化能力，UMFC可以降低模型部署的成本，并提高模型在实际应用中的性能。

📄 摘要（原文）

Pre-trained vision-language models (e.g., CLIP) have shown powerful zero-shot transfer capabilities. But they still struggle with domain shifts and typically require labeled data to adapt to downstream tasks, which could be costly. In this work, we aim to leverage unlabeled data that naturally spans multiple domains to enhance the transferability of vision-language models. Under this unsupervised multi-domain setting, we have identified inherent model bias within CLIP, notably in its visual and text encoders. Specifically, we observe that CLIP's visual encoder tends to prioritize encoding domain over discriminative category information, meanwhile its text encoder exhibits a preference for domain-relevant classes. To mitigate this model bias, we propose a training-free and label-free feature calibration method, Unsupervised Multi-domain Feature Calibration (UMFC). UMFC estimates image-level biases from domain-specific features and text-level biases from the direction of domain transition. These biases are subsequently subtracted from original image and text features separately, to render them domain-invariant. We evaluate our method on multiple settings including transductive learning and test-time adaptation. Extensive experiments show that our method outperforms CLIP and performs on par with the state-of-the-arts that need additional annotations or optimization. Our code is available at https://github.com/GIT-LJc/UMFC.