Embedding Shift Dissection on CLIP: Effects of Augmentations on VLM's Representation Learning

📄 arXiv: 2503.23495v3 📥 PDF

作者: Ashim Dahal, Saydul Akbar Murad, Nick Rahimi

分类: cs.CV

发布日期: 2025-03-30 (更新: 2025-04-10)

备注: accepted at MIV at CVPR 2025

🔗 代码/项目: GITHUB

💡 一句话要点

研究图像增强对CLIP模型表征的影响，揭示视觉语言模型表征学习的内在机制。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉语言模型 CLIP模型 图像增强 表征学习 可解释性 鲁棒性 嵌入偏移

📋 核心要点

  1. 现有方法缺乏对图像增强如何影响视觉语言模型表征的深入理解，阻碍了模型可解释性和鲁棒性的提升。
  2. 该论文通过分析不同图像增强技术对CLIP模型嵌入的影响，揭示了视觉语言模型表征学习的内在机制。
  3. 实验结果表明，噪声、透视变换和缩放等增强技术对CLIP模型嵌入的影响最为显著。

📝 摘要（中文）

本研究旨在理解不同图像增强技术对CLIP等视觉语言模型（VLM）表征的影响，从而为可解释性研究提供有价值的见解。我们考察了9种常见的增强技术：噪声、模糊、颜色抖动、缩放和旋转、翻转、弹性变换和透视变换、随机亮度和对比度、以及像素块的粗糙dropout，并分析了这些增强对CLIP嵌入的影响。我们通过关注图、块、边缘、细节保留的相似性，以及余弦相似度、L2距离、成对距离和树状图聚类等指标，对嵌入的偏移进行了细致的分析，并对样本图像进行了定性分析。研究结果表明，噪声、透视变换和缩放等增强技术对嵌入偏移的影响更为显著。本研究为未来VLM的鲁棒性研究、机械解释和对抗性数据防御奠定了坚实的基础。代码已开源。

🔬 方法详解

问题定义：论文旨在解决的问题是：不同的图像增强技术如何影响视觉语言模型（如CLIP）的表征？现有方法缺乏对这种影响的系统性分析，导致我们对VLM的内部工作机制理解不足，也难以提升其鲁棒性和可解释性。现有方法通常将增强作为一种黑盒操作，而忽略了其对模型表征空间产生的具体变化。

核心思路：论文的核心思路是通过系统性地分析不同图像增强技术作用下，CLIP模型图像嵌入的变化，来理解增强对VLM表征学习的影响。通过量化嵌入的偏移程度，并结合定性分析，揭示哪些增强对表征影响最大，以及这些影响的具体表现形式。这种方法旨在打开VLM的“黑盒”，为可解释性研究提供基础。

技术框架：论文的技术框架主要包含以下几个步骤：1) 选择CLIP模型作为研究对象；2) 选择9种常见的图像增强技术；3) 对图像进行增强处理，并使用CLIP模型提取图像嵌入；4) 使用多种指标（如注意力图相似性、余弦相似度、L2距离等）量化嵌入的偏移程度；5) 对结果进行统计分析和可视化，并结合样本图像进行定性分析。

关键创新：论文的关键创新在于其系统性地研究了多种图像增强技术对CLIP模型表征的影响，并提出了多种量化嵌入偏移的指标。与现有方法相比，该论文更加关注增强对表征空间的具体影响，而不仅仅是模型性能的变化。此外，论文还结合了定性分析，从视觉角度解释了嵌入偏移的原因。

关键设计：论文的关键设计包括：1) 选择了9种具有代表性的图像增强技术，涵盖了噪声、模糊、颜色、几何变换等多个方面；2) 使用了多种指标来量化嵌入的偏移程度，从而更全面地评估增强的影响；3) 结合了定性分析，通过可视化嵌入偏移和样本图像，更直观地展示了增强的效果。论文还开源了代码，方便其他研究者复现和扩展研究。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究表明，噪声、透视变换和缩放等增强技术对CLIP模型嵌入的影响最为显著。通过量化分析，论文发现这些增强会导致嵌入空间发生较大的偏移，从而影响模型的识别性能。此外，论文还通过定性分析，揭示了这些增强对图像特征的影响，例如噪声会破坏图像的细节信息，而透视变换会改变图像的几何结构。

🎯 应用场景

该研究成果可应用于提升视觉语言模型的鲁棒性和可解释性。通过理解不同增强对模型表征的影响，可以设计更有效的对抗性防御策略，并为模型的可解释性研究提供基础。此外，该研究还可以指导数据增强策略的选择，从而提升模型的泛化能力。

📄 摘要（原文）

Understanding the representation shift on Vision Language Models like CLIP under different augmentations provides valuable insights on Mechanistic Interpretability. In this study, we show the shift on CLIP's embeddings on 9 common augmentation techniques: noise, blur, color jitter, scale and rotate, flip, elastic and perspective transforms, random brightness and contrast, and coarse dropout of pixel blocks. We scrutinize the embedding shifts under similarity on attention map, patch, edge, detail preservation, cosine similarity, L2 distance, pairwise distance and dendrogram clusters and provide qualitative analysis on sample images. Our findings suggest certain augmentations like noise, perspective transform and shift scaling have higher degree of drastic impact on embedding shift. This study provides a concrete foundation for future work on VLM's robustness for mechanical interpretation and adversarial data defense. The code implementation for this study can be found on \href{https://github.com/ashimdahal/clip-shift-analysis}{https://github.com/ashimdahal/clip-shift-analysis}.