RealSyn: An Effective and Scalable Multimodal Interleaved Document Transformation Paradigm

📄 arXiv: 2502.12513v3 📥 PDF

作者: Tiancheng Gu, Kaicheng Yang, Chaoyi Zhang, Yin Xie, Xiang An, Ziyong Feng, Dongnan Liu, Weidong Cai, Jiankang Deng

分类: cs.CV

发布日期: 2025-02-18 (更新: 2025-08-05)

备注: 15 pages, 12 figures, Accepted by ACM MM2025, Webpage: https://garygutc.github.io/RealSyn

🔗 代码/项目: GITHUB

💡 一句话要点

RealSyn：一种有效且可扩展的多模态交错文档转换范式，提升对比视觉-语言表征学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 对比学习 视觉-语言预训练 数据集构建 图像文本检索

📋 核心要点

  1. 现有方法未能充分利用大量未配对的多模态交错文档进行对比视觉-语言表征学习。
  2. RealSyn通过真实世界数据提取、分层检索、图像语义增强生成和语义平衡抽样来构建高质量多模态数据集。
  3. 实验表明，在RealSyn上预训练的模型在各种下游任务中取得了SOTA性能，并具有良好的可扩展性。

📝 摘要（中文）

对比语言-图像预训练（CLIP）在大量图像-文本对上进行预训练后，在各种基准测试中表现出良好的性能。然而，大量的多模态交错文档在对比视觉-语言表征学习中仍未得到充分利用。为了充分利用这些未配对的文档，我们首先建立了一个真实世界数据提取管道，以提取高质量的图像和文本。然后，我们设计了一种分层检索方法，以有效地将每个图像与多个语义相关的真实文本相关联。为了进一步增强细粒度的视觉信息，我们提出了一种图像语义增强生成模块，用于合成文本生成。此外，我们采用了一种语义平衡抽样策略来提高数据集的多样性，从而更好地学习长尾概念。基于这些创新，我们构建了RealSyn，一个结合了真实文本和合成文本的数据集，提供三种规模：15M、30M和100M。我们将我们的数据集与用于CLIP训练的其他同等规模的广泛使用的数据集进行了比较。在RealSyn上预训练的模型在各种下游任务中始终如一地实现了最先进的性能，包括线性探针、零样本迁移、零样本鲁棒性和零样本检索。此外，大量的实验证实，RealSyn显著增强了对比视觉-语言表征学习，并表现出强大的可扩展性。为了方便未来的研究，RealSyn数据集和预训练模型权重已在https://github.com/deepglint/RealSyn上发布。

🔬 方法详解

问题定义：论文旨在解决对比视觉-语言表征学习中，大量未配对的多模态交错文档未被充分利用的问题。现有方法难以从这些文档中提取高质量的图像-文本对，并且缺乏有效的方法来关联图像和文本，从而限制了模型的学习能力。

核心思路：论文的核心思路是构建一个包含真实文本和合成文本的大规模多模态数据集RealSyn，通过真实数据提取、分层检索、图像语义增强生成和语义平衡抽样等技术，提高数据集的质量和多样性，从而提升对比视觉-语言模型的学习效果。这样设计的目的是为了弥补现有数据集的不足，充分利用未配对的多模态数据。

技术框架：RealSyn的构建流程主要包含以下几个阶段：1) 真实世界数据提取：从互联网上提取高质量的图像和文本数据。2) 分层检索：设计一种分层检索方法，将每个图像与多个语义相关的真实文本关联起来。3) 图像语义增强生成：利用图像语义信息生成合成文本，以增强细粒度的视觉信息。4) 语义平衡抽样：采用语义平衡抽样策略，提高数据集的多样性，更好地学习长尾概念。最终，将真实文本和合成文本结合起来，构建RealSyn数据集。

关键创新：论文的关键创新在于：1) 提出了一个真实世界数据提取管道，用于提取高质量的图像和文本数据。2) 设计了一种分层检索方法，能够有效地将图像与多个语义相关的文本关联起来。3) 提出了一个图像语义增强生成模块，用于生成合成文本，增强细粒度的视觉信息。4) 提出了一个语义平衡抽样策略，用于提高数据集的多样性。这些创新共同提升了数据集的质量和多样性，从而提升了对比视觉-语言模型的学习效果。

关键设计：在分层检索中，使用了多阶段的检索策略，首先进行粗粒度的语义检索，然后进行细粒度的语义检索，以提高检索的准确率。在图像语义增强生成模块中，使用了预训练的语言模型来生成合成文本，并利用图像的语义信息来指导文本的生成。在语义平衡抽样策略中，使用了基于聚类的抽样方法，以保证数据集的语义分布更加均衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在各种下游任务中，RealSyn预训练模型始终如一地实现了最先进的性能，包括线性探针、零样本迁移、零样本鲁棒性和零样本检索。例如，在零样本图像分类任务中，RealSyn预训练模型相比于其他同等规模的数据集，性能提升了X%。实验结果表明，RealSyn显著增强了对比视觉-语言表征学习，并表现出强大的可扩展性。

🎯 应用场景

RealSyn数据集和预训练模型可以广泛应用于各种视觉-语言任务，例如图像分类、图像检索、视觉问答、图像描述等。该研究成果有助于提升多模态理解能力，在智能客服、内容审核、自动驾驶等领域具有潜在的应用价值。未来，可以进一步探索RealSyn在其他模态数据上的应用，例如视频和音频。

📄 摘要（原文）

After pre-training on extensive image-text pairs, Contrastive Language-Image Pre-training (CLIP) demonstrates promising performance on a wide variety of benchmarks. However, a substantial volume of multimodal interleaved documents remains underutilized for contrastive vision-language representation learning. To fully leverage these unpaired documents, we initially establish a Real-World Data Extraction pipeline to extract high-quality images and texts. Then we design a hierarchical retrieval method to efficiently associate each image with multiple semantically relevant realistic texts. To further enhance fine-grained visual information, we propose an image semantic augmented generation module for synthetic text production. Furthermore, we employ a semantic balance sampling strategy to improve dataset diversity, enabling better learning of long-tail concepts. Based on these innovations, we construct RealSyn, a dataset combining realistic and synthetic texts, available in three scales: 15M, 30M, and 100M. We compare our dataset with other widely used datasets of equivalent scale for CLIP training. Models pre-trained on RealSyn consistently achieve state-of-the-art performance across various downstream tasks, including linear probe, zero-shot transfer, zero-shot robustness, and zero-shot retrieval. Furthermore, extensive experiments confirm that RealSyn significantly enhances contrastive vision-language representation learning and demonstrates robust scalability. To facilitate future research, the RealSyn dataset and pretrained model weights are released at https://github.com/deepglint/RealSyn.