In Search of the Successful Interpolation: On the Role of Sharpness in CLIP Generalization

📄 arXiv: 2410.16476v1 📥 PDF

作者: Alireza Abdollahpoorrostam

分类: cs.LG

发布日期: 2024-10-21

🔗 代码/项目: GITHUB

💡 一句话要点

探讨尖锐度在CLIP模型插值成功中的作用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零-shot学习 鲁棒微调 CLIP模型 尖锐度 层级分析 分布外数据 模型泛化

📋 核心要点

  1. 现有的鲁棒微调方法在改善模型对分布外数据的鲁棒性方面存在局限，尤其是在尖锐度的影响上。
  2. 本文提出通过分析层级尖锐度，来更好地理解鲁棒微调在CLIP模型中的表现，尤其是滞后层的作用。
  3. 实验结果表明，层级尖锐度与OOD准确性之间存在显著相关性，并且通过引入稀疏性可以缓解RFT中的失败模式。

📝 摘要（中文）

零-shot模型如CLIP通常会在目标数据集上进行微调以提高准确性，但这可能会影响其对分布外（OOD）数据的鲁棒性。为了解决这一问题，提出了鲁棒微调（RFT），该方法在零-shot和微调模型之间进行插值。然而，RFT在何种情况下能够改善OOD误差仍然不够明确。本文通过实证研究，重点关注CLIP模型在插值过程中的尖锐度，发现虽然整体尖锐度并不能可靠预测CLIP在OOD数据上的泛化能力，但层级尖锐度可以有效捕捉插值模型的泛化性能。通过对“滞后层”现象的分析，本文首次探讨了尖锐度在CLIP基础模型权重空间插值成功中的作用。

🔬 方法详解

问题定义：本文旨在解决鲁棒微调（RFT）在CLIP模型中对分布外（OOD）数据泛化能力的理解不足，尤其是尖锐度的影响。现有方法未能有效预测OOD性能，导致鲁棒性不足。

核心思路：通过实证研究，重点分析CLIP模型在插值过程中的层级尖锐度，提出层级尖锐度作为评估插值模型泛化能力的可靠指标，挑战了传统对平坦极小值的信仰。

技术框架：研究首先分析了CLIP模型的整体尖锐度与OOD性能的关系，接着聚焦于滞后层的层级尖锐度，最后通过引入稀疏性来优化滞后层的表现。

关键创新：本文首次探讨了尖锐度在CLIP模型权重空间插值成功中的作用，提出层级尖锐度作为新的评估标准，与现有方法的整体尖锐度评估形成鲜明对比。

关键设计：在实验中，采用了特定的损失函数和网络结构设计，重点关注滞后层的稀疏性，以提高模型在OOD数据上的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，层级尖锐度与RFT模型在OOD数据上的准确性存在显著相关性。通过对滞后层引入稀疏性，成功缓解了RFT中的失败模式，提升了模型的泛化能力，具体性能提升幅度未明确说明。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理等多模态任务，尤其是在需要处理分布外数据的场景中。通过提高模型的鲁棒性，能够在实际应用中更好地应对数据分布的变化，提升系统的可靠性和稳定性。

📄 摘要（原文）

\textit{Zero-shot} models like CLIP are often fine-tuned on a target dataset to improve its accuracy further, but this can compromise out-of-distribution (OOD) robustness. Robust Fine-Tuning (\texttt{RFT} )~\citep{wortsman2021robust}, which interpolates between the \textit{zero-shot} and \textit{fine-tuned} models, has been proposed to address this issue. However, understanding when \texttt{RFT} actually improves OOD error remains limited. In this work, we empirically investigate the robustness of \texttt{RFT} in CLIP models, with a focus on the \textit{sharpness} of the CLIP model during interpolation. First, we demonstrate that while sharpness may not serve as a reliable indicator for predicting the generalization of modern architectures like CLIP on OOD data, this challenges the conventional belief in the generalization benefits of flat minima in foundation models. However, by examining the role of the \textit{straggler layer} phenomenon, we show that, unlike overall sharpness, the \textit{layer-wise} sharpness of \textit{straggler} layers can reliably capture the generalization performance of interpolated CLIP models on OOD data. Our extensive experiments reveal that \textit{layer-wise} sharpness correlates with generalization in OOD accuracy for \texttt{RFT}. Furthermore, we demonstrate that by inducing sparsity in the \textit{straggler} layers, we can mitigate the \textit{failure mode} phenomenon in \texttt{RFT}. To the best of our knowledge, this is the first work to study the role of sharpness in the \textit{success} of interpolation in the weight space of CLIP foundation models. Our code is available at \url{https://github.com/alirezaabdollahpour/CLIP_Mode_Connectivity}.