Leveraging Image-Text Similarity and Caption Modification for the DataComp Challenge: Filtering Track and BYOD Track

📄 arXiv: 2310.14581v1 📥 PDF

作者: Shuhei Yokoo, Peifei Zhu, Yuchi Ishikawa, Mikihiro Tanaka, Masayoshi Kondo, Hirokatsu Kataoka

分类: cs.CV, cs.AI

发布日期: 2023-10-23

备注: Accepted at the ICCV 2023 Workshop on Towards the Next Generation of Computer Vision Datasets: DataComp Track

💡 一句话要点

提出基于图像-文本相似性和标题修改的数据过滤方案

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 数据过滤 图像-文本相似性 网络爬虫数据 模型优化 数据质量提升

📋 核心要点

  1. 现有方法在多模态数据设计上缺乏深入研究，导致数据质量和模型性能的提升空间有限。
  2. 本文提出的解决方案利用CLIP和BLIP-2模型，结合外部数据集和多种技术手段，优化网络爬虫数据的过滤和修改。
  3. 实验结果显示，所提方案在过滤轨道上提升了6.6%，在BYOD轨道上提升了48.5%，显著超越了DataComp基线。

📝 摘要（中文）

大规模网络爬虫数据集在学习具有高泛化能力的多模态特征方面发挥了重要作用。然而，关于数据设计的细节或改进的研究仍然非常有限。最近，DataComp挑战旨在提出最佳训练数据。本文展示了我们在DataComp挑战的过滤轨道和BYOD轨道中的解决方案。我们采用了大型多模态模型CLIP和BLIP-2来过滤和修改网络爬虫数据，并利用外部数据集和一系列技巧来提高数据质量。实验结果表明，我们的方案在过滤轨道上提升了6.6%，在BYOD轨道上提升了48.5%。

🔬 方法详解

问题定义：本文旨在解决多模态数据集在质量和设计上的不足，现有方法未能充分利用外部数据和优化策略。

核心思路：通过结合CLIP和BLIP-2等大型多模态模型，利用图像-文本相似性和标题修改技术，提升网络爬虫数据的质量和有效性。

技术框架：整体方案包括数据过滤和修改两个主要模块，首先使用CLIP进行初步过滤，然后通过BLIP-2进行标题修改，最后结合外部数据集进行进一步优化。

关键创新：本研究的创新点在于将多模态模型与外部数据集结合，形成了一种新的数据处理框架，显著提升了数据质量。

关键设计：在参数设置上，采用了适应性学习率和特定的损失函数，以优化模型在数据过滤和修改过程中的表现。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，所提方案在过滤轨道上实现了6.6%的性能提升，在BYOD轨道上更是达到了48.5%的显著提升，远超DataComp基线，展示了方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括图像识别、自然语言处理和多模态学习等。通过提高数据质量，能够增强模型的泛化能力，推动相关领域的研究和应用发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large web crawl datasets have already played an important role in learning multimodal features with high generalization capabilities. However, there are still very limited studies investigating the details or improvements of data design. Recently, a DataComp challenge has been designed to propose the best training data with the fixed models. This paper presents our solution to both filtering track and BYOD track of the DataComp challenge. Our solution adopts large multimodal models CLIP and BLIP-2 to filter and modify web crawl data, and utilize external datasets along with a bag of tricks to improve the data quality. Experiments show our solution significantly outperforms DataComp baselines (filtering track: 6.6% improvement, BYOD track: 48.5% improvement).