Cross-Modal Mapping: Mitigating the Modality Gap for Few-Shot Image Classification

📄 arXiv: 2412.20110v3 📥 PDF

作者: Xi Yang, Pai Peng, Wulin Xie, Xiaohuan Lu, Jie Wen

分类: cs.CV

发布日期: 2024-12-28 (更新: 2025-04-16)

💡 一句话要点

提出跨模态映射CMM方法，缓解少样本图像分类中的模态差异问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 少样本学习 跨模态映射 模态差异 图像分类 视觉-语言模型

📋 核心要点

  1. 现有少样本图像分类方法依赖预训练视觉-语言模型，但图像和文本特征的模态差异导致性能受限。
  2. 提出跨模态映射CMM方法，通过线性变换全局对齐特征空间，并用Triplet Loss优化局部关系，增强跨模态一致性。
  3. 实验表明，CMM简化训练，提高效率，在多个数据集上Top-1准确率提升1.06%，并有效应对分布偏移。

📝 摘要（中文）

少样本图像分类是计算机视觉领域的一个关键挑战，尤其是在数据稀缺的环境中。现有方法通常依赖于预训练的视觉-语言模型，如CLIP。然而，由于模态差异，即图像和文本特征在联合嵌入空间中的分布不一致，直接使用这些特征作为类原型通常会导致次优性能。为了解决这个问题，我们提出了一种新的跨模态映射（CMM）方法。该方法通过线性变换全局对齐图像特征与文本特征空间，并使用Triplet Loss优化其局部空间关系，从而显著增强跨模态一致性。实验结果表明，与其他方法相比，CMM简化了训练过程并表现出更高的效率。此外，CMM在11个基准数据集上，相比于部分微调backbone的方法，平均Top-1准确率提高了1.06%，并且在4个分布偏移数据集上表现出色。值得注意的是，CMM有效地缓解了预训练模型中的模态差异，使得文本特征能够作为图像特征的有效类原型，从而为少样本学习提供了一种高效且高度通用的解决方案。

🔬 方法详解

问题定义：少样本图像分类任务中，利用预训练的视觉-语言模型（如CLIP）提取的图像和文本特征存在模态差异，即在联合嵌入空间中，图像和文本特征的分布不一致。直接将文本特征作为图像特征的类原型会导致分类性能下降。现有方法难以有效弥合这种模态差异，限制了少样本分类的准确性和泛化能力。

核心思路：论文的核心思路是通过学习一个跨模态映射，将图像特征映射到文本特征空间，从而减小模态差异。具体来说，通过线性变换全局对齐图像特征和文本特征，并利用Triplet Loss优化图像特征在文本特征空间中的局部空间关系。这样可以使图像特征更好地适应文本特征的分布，从而提高分类性能。

技术框架：CMM方法主要包含两个阶段：全局对齐和局部优化。首先，使用一个线性变换矩阵将图像特征映射到文本特征空间，实现全局对齐。然后，使用Triplet Loss来优化图像特征在文本特征空间中的局部空间关系，使得相似的图像特征更接近，不相似的图像特征更远离。整个框架简单高效，易于实现和训练。

关键创新：CMM的关键创新在于同时考虑了全局对齐和局部优化，从而更有效地缓解了模态差异。与现有方法相比，CMM不需要复杂的网络结构或大量的训练数据，而是通过简单的线性变换和Triplet Loss来实现跨模态映射，从而提高了效率和泛化能力。

关键设计：CMM的关键设计包括：1）线性变换矩阵的初始化方式，可以使用单位矩阵或随机初始化；2）Triplet Loss的采样策略，可以选择hard negative mining或semi-hard negative mining；3）Triplet Loss的margin参数，需要根据具体数据集进行调整；4）线性变换矩阵的学习率，需要仔细调整以避免过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CMM方法在11个基准数据集上取得了显著的性能提升，相比于部分微调backbone的方法，平均Top-1准确率提高了1.06%。在4个分布偏移数据集上，CMM也表现出色，表明其具有良好的泛化能力。实验结果还表明，CMM方法简化了训练过程，提高了效率，是一种高效且通用的少样本学习解决方案。

🎯 应用场景

该研究成果可广泛应用于图像识别、图像检索、零样本学习等领域。例如，在医疗影像分析中，可以利用文本描述辅助诊断，提高诊断准确率。在智能安防领域，可以实现基于文本描述的图像检索，快速定位目标。此外，该方法还可以应用于机器人视觉，使机器人能够理解人类的指令，完成复杂的任务。

📄 摘要（原文）

Few-shot image classification remains a critical challenge in the field of computer vision, particularly in data-scarce environments. Existing methods typically rely on pre-trained visual-language models, such as CLIP. However, due to the modality gap, which is the inconsistent distribution of image and text features in the joint embedding space, directly using these features as class prototypes often leads to suboptimal performance. To address this issue, we propose a novel Cross-Modal Mapping (CMM) method. This method globally aligns image features with the text feature space through linear transformation and optimizes their local spatial relationships using triplet loss, thereby significantly enhancing cross-modal consistency. Experimental results show that compared to other methods, CMM simplifies the training process and demonstrates higher efficiency. Furthermore, CMM improves the average Top-1 accuracy by 1.06% on 11 benchmark datasets compared to methods that partially fine-tune the backbone, and it performs excellently on 4 distribution shift datasets. Notably, CMM effectively mitigates the modality gap in pre-trained models, enabling text features to serve as effective class prototypes for image features, thus providing an efficient and highly generalizable solution for few-shot learning.