Sieve: Multimodal Dataset Pruning Using Image Captioning Models

📄 arXiv: 2310.02110v2 📥 PDF

作者: Anas Mahmoud, Mostafa Elhoushi, Amro Abbas, Yu Yang, Newsha Ardalani, Hugh Leather, Ari Morcos

分类: cs.CV

发布日期: 2023-10-03 (更新: 2024-03-10)

备注: Accepted in CVPR 2024

💡 一句话要点

提出Sieve以解决多模态数据集修剪问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态数据集修剪 视觉语言模型 图像描述模型 合成标题 语义相似度评估

📋 核心要点

  1. 现有的基于CLIPScore的数据集修剪方法存在假阳性和假阴性的问题，影响了修剪效果。
  2. 本文提出的Sieve方法通过合成标题来评估图像-文本对的对齐性，克服了现有方法的局限性。
  3. 在多模态数据集过滤基准DataComp上，Sieve在多个下游任务中表现优于CLIPScore，取得显著提升。

📝 摘要（中文）

视觉语言模型（VLMs）通常在大型、多样且噪声较多的网络爬取数据集上进行预训练，因此数据集修剪显得尤为重要，因为数据集的质量与VLMs在下游任务中的表现密切相关。本文提出了一种新的修剪信号Sieve，利用在小型、多样且对齐良好的图像-文本对上预训练的图像描述模型生成的合成标题，来评估噪声图像-文本对的对齐性。实验表明，Sieve在38个下游任务中相较于CLIPScore在中型和大型数据集上分别提升了2.6%和1.7%。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在训练过程中使用的低质量数据集问题。现有方法如CLIPScore由于在噪声标签上预训练，导致修剪效果不佳，存在假阳性和假阴性现象。

核心思路：Sieve方法通过生成合成标题来评估图像-文本对的对齐性，利用在小型且高质量数据集上预训练的图像描述模型，旨在提高数据集的质量和多样性。

技术框架：Sieve的整体架构包括合成标题生成模块和对齐性评估模块。首先，使用图像描述模型生成合成标题，然后通过语义文本相似度评估图像-文本对的对齐性，最终筛选出高质量样本。

关键创新：Sieve的主要创新在于使用合成标题和语义相似度评估来替代传统的CLIPScore方法，从而有效减少假阳性和假阴性，提高数据集修剪的准确性。

关键设计：在模型设计中，使用了基于无标签文本语料库预训练的语言模型进行语义相似度计算，确保了生成标题的多样性和对齐性评估的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多模态数据集过滤基准DataComp上，Sieve在38个下游任务中相较于CLIPScore分别提升了2.6%和1.7%（中型和大型数据集），并在检索任务中分别提升了2.7%和4.5%，显示出其显著的效果提升。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理和多模态学习等。通过提高数据集的质量，Sieve可以增强视觉语言模型在各种下游任务中的表现，推动相关领域的研究和应用发展。

📄 摘要（原文）

Vision-Language Models (VLMs) are pretrained on large, diverse, and noisy web-crawled datasets. This underscores the critical need for dataset pruning, as the quality of these datasets is strongly correlated with the performance of VLMs on downstream tasks. Using CLIPScore from a pretrained model to only train models using highly-aligned samples is one of the most successful methods for pruning. We argue that this approach suffers from multiple limitations including: false positives and negatives due to CLIP's pretraining on noisy labels. We propose a pruning signal, Sieve, that employs synthetic captions generated by image-captioning models pretrained on small, diverse, and well-aligned image-text pairs to evaluate the alignment of noisy image-text pairs. To bridge the gap between the limited diversity of generated captions and the high diversity of alternative text (alt-text), we estimate the semantic textual similarity in the embedding space of a language model pretrained on unlabeled text corpus. Using DataComp, a multimodal dataset filtering benchmark, when evaluating on 38 downstream tasks, our pruning approach, surpasses CLIPScore by 2.6\% and 1.7\% on medium and large scale respectively. In addition, on retrieval tasks, Sieve leads to a significant improvement of 2.7% and 4.5% on medium and large scale respectively.