Does CLIP's Generalization Performance Mainly Stem from High Train-Test Similarity?

📄 arXiv: 2310.09562v2 📥 PDF

作者: Prasanna Mayilvahanan, Thaddäus Wiedemer, Evgenia Rusak, Matthias Bethge, Wieland Brendel

分类: cs.CV, cs.AI, cs.LG

发布日期: 2023-10-14 (更新: 2024-03-14)

备注: ICLR 2024 camera-ready version

💡 一句话要点

探讨CLIP的泛化性能是否主要源于高训练-测试相似性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: CLIP 泛化性能 训练-测试相似性 数据修剪 离散分布基准

📋 核心要点

  1. 现有研究主要将CLIP的泛化能力归因于大规模的训练数据集，但这种解释可能过于简单。
  2. 本文通过重训练CLIP，使用经过修剪的数据集，探讨训练-测试相似性对CLIP性能的影响。
  3. 实验结果表明，尽管某些基准性能下降，CLIP的整体性能依然保持高水平，揭示了其他因素的重要性。

📝 摘要（中文）

基础模型如CLIP在数亿样本上训练，能够轻松泛化到新任务和输入。尽管CLIP在多种离散分布基准上展现出卓越的零-shot和少-shot能力，但现有研究主要将其归因于大规模的训练数据集（如LAION）。本文质疑了这种观点，认为LAION可能包含许多与常见的离散分布基准相似的样本。为此，作者对CLIP进行了重训练，使用经过修剪的LAION数据集，以复制与ImageNet的训练-测试相似性。结果显示，尽管某些基准的性能有所下降，CLIP的整体性能依然较高，表明高训练-测试相似性不足以解释CLIP的离散分布性能，其他训练数据的特性可能驱动CLIP学习更具泛化能力的表示。

🔬 方法详解

问题定义：本文旨在探讨CLIP模型的泛化性能是否主要源于训练和测试数据之间的相似性。现有方法未能充分解释CLIP在离散分布基准上的表现，尤其是在大规模训练数据集的影响下。

核心思路：作者通过重训练CLIP，使用经过修剪的LAION数据集，以复制与ImageNet的训练-测试相似性，从而验证训练数据的特性对模型性能的影响。

技术框架：研究首先对LAION数据集进行修剪，确保其与ImageNet的相似性。然后，使用修剪后的数据集对CLIP进行重训练，最后评估其在多个离散分布基准上的表现。

关键创新：最重要的创新在于通过数据修剪方法，揭示了高训练-测试相似性并不足以解释CLIP的离散分布性能，强调了训练数据的其他特性。

关键设计：在实验中，作者设定了特定的修剪标准，以确保数据集的相似性，并对CLIP的训练过程进行了细致的参数调整，以保持其性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，尽管在某些基准上性能有所下降，CLIP在经过修剪的数据集上仍能保持高水平的整体性能。这表明高训练-测试相似性并不是CLIP离散分布性能的唯一驱动因素，强调了训练数据的多样性和特性的重要性。

🎯 应用场景

该研究对理解基础模型的泛化能力具有重要意义，尤其是在计算机视觉和自然语言处理等领域。通过揭示训练数据特性对模型性能的影响，未来可以更有效地设计和优化模型，提升其在新任务上的表现。

📄 摘要（原文）

Foundation models like CLIP are trained on hundreds of millions of samples and effortlessly generalize to new tasks and inputs. Out of the box, CLIP shows stellar zero-shot and few-shot capabilities on a wide range of out-of-distribution (OOD) benchmarks, which prior works attribute mainly to today's large and comprehensive training dataset (like LAION). However, it is questionable how meaningful terms like out-of-distribution generalization are for CLIP as it seems likely that web-scale datasets like LAION simply contain many samples that are similar to common OOD benchmarks originally designed for ImageNet. To test this hypothesis, we retrain CLIP on pruned LAION splits that replicate ImageNet's train-test similarity with respect to common OOD benchmarks. While we observe a performance drop on some benchmarks, surprisingly, CLIP's overall performance remains high. This shows that high train-test similarity is insufficient to explain CLIP's OOD performance, and other properties of the training data must drive CLIP to learn more generalizable representations. Additionally, by pruning data points that are dissimilar to the OOD benchmarks, we uncover a 100M split of LAION ($\frac{1}{4}$th of its original size) on which CLIP can be trained to match its original OOD performance.