VeCLIP: Improving CLIP Training via Visual-enriched Captions

📄 arXiv: 2310.07699v3 📥 PDF

作者: Zhengfeng Lai, Haotian Zhang, Bowen Zhang, Wentao Wu, Haoping Bai, Aleksei Timofeev, Xianzhi Du, Zhe Gan, Jiulong Shan, Chen-Nee Chuah, Yinfei Yang, Meng Cao

分类: cs.CV, cs.AI, cs.LG

发布日期: 2023-10-11 (更新: 2024-03-13)

备注: CV/ML

🔗 代码/项目: GITHUB

💡 一句话要点

提出VeCLIP以解决图像文本对齐中的噪声问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉丰富标题 图像文本对齐 多模态学习 大规模数据集 机器学习

📋 核心要点

  1. 现有的图像文本对齐方法在处理网络爬取数据集时面临噪声和不相关性的问题，影响了模型性能。
  2. 本研究提出了一种新的标题重写方法，强调将视觉概念融入标题中，从而提高数据的多样性和质量。
  3. 实验结果表明，VeCLIP在COCO和Flickr30k检索任务中实现了高达25.2%的性能提升，同时在数据效率上也有显著改善。

📝 摘要（中文）

大规模网络爬取数据集是预训练视觉语言模型（如CLIP）成功的基础。然而，网络爬取的AltTexts固有的噪声和潜在的不相关性给图像文本对齐带来了挑战。现有方法利用大型语言模型（LLMs）进行标题重写在小型数据集上表现良好。本研究提出了一种可扩展的噪声标题重写管道，强调将视觉概念融入标题中，称为视觉丰富标题（VeCap）。我们展示了该方法在大规模网络爬取数据集上训练CLIP的适应性，称为VeCLIP。通过这一经济高效的管道，我们将数据集规模轻松扩展至3亿样本，结果显示在图像文本对齐和整体模型性能上具有显著优势。

🔬 方法详解

问题定义：本论文旨在解决在大规模网络爬取数据集中，图像文本对齐过程中由于AltTexts的噪声和不相关性导致的精度问题。现有方法在小型数据集上表现良好，但在处理大规模数据时效果不佳。

核心思路：论文提出了一种新的标题重写方法，称为视觉丰富标题（VeCap），通过将视觉概念融入标题中来提高图像文本对齐的准确性和数据的多样性。

技术框架：整体架构包括一个可扩展的噪声标题重写管道，采用混合训练方案，优化AltTexts与新生成的VeCap的利用。该方法能够处理大规模数据集，支持高效的模型训练。

关键创新：最重要的技术创新在于引入了视觉概念到标题重写中，区别于现有的仅依赖语言模型的重写方法，从而提高了数据的质量和模型的性能。

关键设计：在模型训练中，采用了混合训练策略，结合AltTexts和VeCap，设置了适当的损失函数以优化图像文本对齐效果，同时确保了数据集的多样性和规模。具体参数和网络结构的细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VeCLIP在COCO和Flickr30k检索任务中实现了高达25.2%的性能提升，同时在数据效率上也表现出色，仅使用14%的数据便获得了3%的性能提升。此外，VeCap数据与其他高质量数据集结合使用时，能够在零-shot分类任务中达到83.1%的准确率，展现了其强大的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括图像检索、零-shot分类和多模态学习等。通过提高图像文本对齐的精度，VeCLIP可以在实际应用中提升搜索引擎、推荐系统和内容生成等任务的效果，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large-scale web-crawled datasets are fundamental for the success of pre-training vision-language models, such as CLIP. However, the inherent noise and potential irrelevance of web-crawled AltTexts pose challenges in achieving precise image-text alignment. Existing methods utilizing large language models (LLMs) for caption rewriting have shown promise on small, curated datasets like CC3M and CC12M. This study introduces a scalable pipeline for noisy caption rewriting. Unlike recent LLM rewriting techniques, we emphasize the incorporation of visual concepts into captions, termed as Visual-enriched Captions (VeCap). To ensure data diversity, we propose a novel mixed training scheme that optimizes the utilization of AltTexts alongside newly generated VeCap. We showcase the adaptation of this method for training CLIP on large-scale web-crawled datasets, termed VeCLIP. Employing this cost-effective pipeline, we effortlessly scale our dataset up to 300 million samples named VeCap dataset. Our results show significant advantages in image-text alignment and overall model performance. For example, VeCLIP achieves up to +25.2% gain in COCO and Flickr30k retrieval tasks under the 12M setting. For data efficiency, VeCLIP achieves +3% gain while only using 14% of the data employed in the vanilla CLIP and 11% in ALIGN. We also note the VeCap data is complementary with other well curated datasets good for zero-shot classification tasks. When combining VeCap and DFN, our model can achieve strong performance on both of image-text retrieval and zero-shot classification tasks, e.g. 83.1% accuracy@1 on ImageNet zero-shot for a H/14 model. We release the pre-trained models at https://github.com/apple/ml-veclip.