Towards Compatible Fine-tuning for Vision-Language Model Updates

📄 arXiv: 2412.20895v1 📥 PDF

作者: Zhengbo Wang, Jian Liang, Lijun Sheng, Ran He, Zilei Wang, Tieniu Tan

分类: cs.CV, cs.LG

发布日期: 2024-12-30

备注: preprint

💡 一句话要点

提出ContCoOp，解决视觉-语言模型更新后微调模块的兼容性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 兼容性微调 模型更新 类条件上下文优化 可学习Prompt

📋 核心要点

  1. 现有高效微调方法忽略了基础模型更新后，即插即用模块的有效性问题，导致兼容性差。
  2. ContCoOp通过类条件上下文优化，利用注意力机制将可学习提示与类嵌入结合，使提示能动态适应模型更新带来的嵌入空间变化。
  3. 实验结果表明，ContCoOp在多个数据集上实现了最高的兼容性，并具有强大的分布外泛化能力。

📝 摘要（中文）

目前，高效微调已成为增强基础模型在下游任务中能力的一种流行策略，它通过学习即插即用模块来实现。然而，现有方法忽略了一个关键问题：如果底层基础模型更新，这些即插即用模块是否仍然有效？本文首先对CLIP上各种微调方法在模型更新兼容性方面进行了详细分析。研究表明，许多高性能微调方法无法与升级后的模型兼容。为了解决这个问题，我们提出了一种新的方法，即类条件上下文优化（ContCoOp），它在将可学习提示输入文本编码器之前，使用注意力层将提示与类嵌入集成。因此，提示可以动态适应嵌入空间的变化（由于模型更新），确保持续有效性。在15个数据集上的大量实验表明，我们的ContCoOp在基线方法中实现了最高的兼容性，并表现出强大的分布外泛化能力。

🔬 方法详解

问题定义：论文旨在解决视觉-语言模型（如CLIP）更新后，现有微调方法训练的即插即用模块（如prompt）的兼容性问题。现有方法在基础模型更新后，性能会显著下降，无法保持微调后的效果。这是因为微调模块是针对特定版本的模型训练的，无法适应模型更新带来的嵌入空间变化。

核心思路：论文的核心思路是设计一种能够动态适应模型更新的微调方法。具体来说，通过将可学习的prompt与类嵌入结合，并使用注意力机制来调整prompt，使其能够根据当前模型的嵌入空间进行优化。这样，即使基础模型更新，prompt也能自动适应新的嵌入空间，从而保持微调后的性能。

技术框架：ContCoOp方法主要包含以下几个模块：1) 可学习的Prompt：一组可学习的向量，用于引导文本编码器生成更具区分性的文本特征。2) 类嵌入：每个类别的嵌入向量，用于提供类别信息。3) 注意力层：一个注意力机制，用于将Prompt和类嵌入进行融合，生成类条件上下文向量。4) 文本编码器：CLIP的文本编码器，用于将类条件上下文向量编码成文本特征。整个流程是，首先将可学习的Prompt和类嵌入输入到注意力层中，生成类条件上下文向量，然后将该向量输入到文本编码器中，得到最终的文本特征。

关键创新：ContCoOp的关键创新在于引入了类条件上下文优化。通过将可学习的Prompt与类嵌入结合，并使用注意力机制进行融合，使得Prompt能够动态适应模型更新带来的嵌入空间变化。这种方法能够有效地提高微调模块的兼容性，使其在基础模型更新后仍然有效。与现有方法相比，ContCoOp不需要重新训练微调模块，从而节省了大量的计算资源。

关键设计：ContCoOp的关键设计包括：1) 注意力机制的选择：论文使用了标准的Transformer注意力机制，用于将Prompt和类嵌入进行融合。2) Prompt的初始化：Prompt被随机初始化，并通过反向传播进行优化。3) 类嵌入的获取：类嵌入可以从预训练的CLIP模型中提取，也可以通过其他方式进行学习。4) 损失函数：论文使用了交叉熵损失函数，用于优化Prompt和注意力机制的参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ContCoOp在15个数据集上进行了广泛的实验，结果表明其在模型更新后的兼容性方面显著优于现有的微调方法。具体来说，ContCoOp在模型更新后，性能下降幅度明显小于其他方法，并且在某些数据集上甚至能够超过原始模型的性能。此外，ContCoOp还表现出强大的分布外泛化能力，能够在未见过的任务和领域上取得良好的效果。

🎯 应用场景

该研究成果可应用于各种视觉-语言模型的微调场景，尤其是在模型需要频繁更新的场景下。例如，在自动驾驶、智能客服等领域，模型需要不断地进行更新以适应新的数据和环境。ContCoOp方法可以保证微调后的模型在更新后仍然具有良好的性能，从而提高系统的稳定性和可靠性。此外，该方法还可以用于提高模型的泛化能力，使其能够更好地适应新的任务和领域。

📄 摘要（原文）

So far, efficient fine-tuning has become a popular strategy for enhancing the capabilities of foundation models on downstream tasks by learning plug-and-play modules. However, existing methods overlook a crucial issue: if the underlying foundation model is updated, are these plug-and-play modules still effective? In this paper, we first conduct a detailed analysis of various fine-tuning methods on the CLIP in terms of their compatibility with model updates. The study reveals that many high-performing fine-tuning methods fail to be compatible with the upgraded models. To address this, we propose a novel approach, Class-conditioned Context Optimization (ContCoOp), which integrates learnable prompts with class embeddings using an attention layer before inputting them into the text encoder. Consequently, the prompts can dynamically adapt to the changes in embedding space (due to model updates), ensuring continued effectiveness. Extensive experiments over 15 datasets show that our ContCoOp achieves the highest compatibility over the baseline methods, and exhibits robust out-of-distribution generalization.