CapsFusion: Rethinking Image-Text Data at Scale

📄 arXiv: 2310.20550v3 📥 PDF

作者: Qiying Yu, Quan Sun, Xiaosong Zhang, Yufeng Cui, Fan Zhang, Yue Cao, Xinlong Wang, Jingjing Liu

分类: cs.CV, cs.AI, cs.CL, cs.LG

发布日期: 2023-10-31 (更新: 2024-04-05)

备注: CVPR 2024. Code & Dataset: https://github.com/baaivision/CapsFusion

💡 一句话要点

提出CapsFusion以解决多模态数据质量与可扩展性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 合成标题 数据整合 大型语言模型 图像-文本对 模型训练 知识深度 可扩展性

📋 核心要点

  1. 现有方法在使用合成标题时存在可扩展性不足和世界知识缺失的问题，影响模型的实际应用效果。
  2. CapsFusion框架通过大型语言模型整合网络图像-文本对和合成标题的信息，以提供更高质量的多模态预训练数据。
  3. 实验表明，CapsFusion在COCO和NoCaps数据集上分别提升了18.8和18.3的CIDEr分数，并且计算效率提高了11-16倍。

📝 摘要（中文）

大型多模态模型在零样本任务中展现出卓越的通用能力，而大规模的网络图像-文本对是其成功的基础。然而，这些数据常常受到噪声的影响。近期研究通过合成的替代标题来提升性能，但我们发现这种方法存在可扩展性不足和知识缺失的问题。为了解决这些问题，CapsFusion框架利用大型语言模型整合和优化来自网络图像-文本对和合成标题的信息。实验结果显示，CapsFusion在模型性能、样本效率、知识深度和可扩展性方面均显著优于现有方法。

🔬 方法详解

问题定义：本论文旨在解决现有多模态模型在使用合成标题时面临的可扩展性不足和知识缺失的问题。现有合成标题往往语言结构过于简单，缺乏丰富的知识细节，导致模型性能受限。

核心思路：CapsFusion的核心思路是利用大型语言模型对网络图像-文本对和合成标题进行整合与优化，从而生成更高质量的多模态数据。这种设计旨在提升数据的丰富性和准确性，进而改善模型的学习效果。

技术框架：CapsFusion的整体架构包括数据收集、信息整合、标题生成和模型训练四个主要模块。首先，从网络中收集图像-文本对，然后通过大型语言模型对这些数据进行整合，生成新的标题，最后用于多模态模型的训练。

关键创新：CapsFusion的最大创新在于其利用大型语言模型对合成标题进行深度优化，显著提升了数据的质量和模型的性能。这与传统方法依赖简单合成标题的方式有本质区别。

关键设计：在CapsFusion中，关键参数设置包括语言模型的选择、标题生成的策略以及损失函数的设计。通过精细调整这些参数，确保生成的标题在语言结构和知识深度上均优于现有合成标题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CapsFusion在实验中显示出显著的性能提升，COCO和NoCaps数据集上的CIDEr分数分别提高了18.8和18.3。此外，该方法在计算效率上也表现优异，所需计算量比基线减少了11-16倍，展现出良好的可扩展性。

🎯 应用场景

CapsFusion的研究成果具有广泛的应用潜力，特别是在需要高质量多模态数据的领域，如计算机视觉、自然语言处理和人机交互等。通过提升数据质量，该框架能够为未来的大型多模态模型训练提供更坚实的基础，推动相关技术的发展与应用。

📄 摘要（原文）

Large multimodal models demonstrate remarkable generalist ability to perform diverse multimodal tasks in a zero-shot manner. Large-scale web-based image-text pairs contribute fundamentally to this success, but suffer from excessive noise. Recent studies use alternative captions synthesized by captioning models and have achieved notable benchmark performance. However, our experiments reveal significant Scalability Deficiency and World Knowledge Loss issues in models trained with synthetic captions, which have been largely obscured by their initial benchmark success. Upon closer examination, we identify the root cause as the overly-simplified language structure and lack of knowledge details in existing synthetic captions. To provide higher-quality and more scalable multimodal pretraining data, we propose CapsFusion, an advanced framework that leverages large language models to consolidate and refine information from both web-based image-text pairs and synthetic captions. Extensive experiments show that CapsFusion captions exhibit remarkable all-round superiority over existing captions in terms of model performance (e.g., 18.8 and 18.3 improvements in CIDEr score on COCO and NoCaps), sample efficiency (requiring 11-16 times less computation than baselines), world knowledge depth, and scalability. These effectiveness, efficiency and scalability advantages position CapsFusion as a promising candidate for future scaling of LMM training.