Img-Diff: Contrastive Data Synthesis for Multimodal Large Language Models

📄 arXiv: 2408.04594v3 📥 PDF

作者: Qirui Jiao, Daoyuan Chen, Yilun Huang, Bolin Ding, Yaliang Li, Ying Shen

分类: cs.CV, cs.AI

发布日期: 2024-08-08 (更新: 2024-12-19)

备注: 22 pages, 10 figures, 16 tables

💡 一句话要点

Img-Diff：用于多模态大语言模型的对比数据合成，提升细粒度图像识别能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 对比学习 数据合成 图像差异描述 细粒度图像识别

📋 核心要点

  1. 现有MLLMs对数据质量依赖性强，缺乏针对细粒度图像识别的有效训练数据。
  2. Img-Diff通过对比学习和图像差异描述，自动生成高质量的“对象替换”样本，挑战模型识别匹配和差异元素。
  3. 实验表明，使用Img-Diff微调的MLLMs在图像差异和视觉问答任务上显著优于现有SOTA模型。

📝 摘要（中文）

本文提出了一种新颖的数据合成方法Img-Diff，旨在提升多模态大语言模型（MLLMs）在细粒度图像识别方面的能力。该方法受到对比学习和图像差异描述的启发，通过生成包含对象变化的相似图像对，并利用差异区域生成器定位对象差异，再使用差异描述生成器描述这些差异。由此产生的高质量“对象替换”样本数据集Img-Diff具有可扩展性。通过使用Img-Diff微调最先进的MLLMs（如InternVL2），在图像差异和视觉问答任务上取得了显著改进，超越了GPT-4V和Gemini等现有SOTA模型在MMVP基准上的表现。同时，论文还对数据集的多样性、质量和鲁棒性进行了全面评估，为对比数据集的合成提供了见解。代码和数据集已开源。

🔬 方法详解

问题定义：论文旨在解决多模态大语言模型（MLLMs）在细粒度图像识别方面能力不足的问题。现有方法缺乏有效的数据增强手段，难以训练模型区分相似图像中的细微差异，尤其是在对象替换场景下。这限制了MLLMs在需要精确视觉理解的任务中的应用。

核心思路：论文的核心思路是利用对比学习的思想，生成包含细微对象差异的图像对，并显式地引导模型关注这些差异。通过让模型区分相似图像中的匹配和非匹配元素，从而提高其细粒度识别能力。这种方法模拟了人类通过对比来学习的认知过程。

技术框架：Img-Diff的整体框架包含以下几个主要模块：1) 相似图像对生成器：生成包含对象变化的相似图像对。2) 差异区域生成器：精确定位图像对中的对象差异区域。3) 差异描述生成器：生成描述这些差异区域的文本描述。最终，将图像对和对应的差异描述组合成训练样本。

关键创新：最重要的技术创新点在于自动化生成对比学习数据的方式。与手动标注或使用现有数据集相比，Img-Diff能够自动、可扩展地生成高质量的“对象替换”样本，从而有效地提升MLLMs的细粒度图像识别能力。这种数据合成方法能够显著降低数据获取成本，并为MLLMs的训练提供更丰富的训练数据。

关键设计：论文中没有详细描述具体的参数设置、损失函数和网络结构等技术细节，但强调了差异区域生成器和差异描述生成器的重要性。这些模块的设计需要能够准确地定位和描述图像中的细微差异，从而为MLLMs提供有效的训练信号。具体实现可能涉及使用目标检测、图像分割和自然语言生成等技术。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用Img-Diff微调的InternVL2模型在MMVP基准测试中显著优于GPT-4V和Gemini等SOTA模型。在图像差异和视觉问答任务上，性能得到了大幅提升，验证了Img-Diff数据集的有效性和高质量。这些结果表明，通过对比数据合成，可以有效提升MLLMs的细粒度图像识别能力。

🎯 应用场景

Img-Diff技术可应用于各种需要细粒度图像识别的场景，例如：商品识别、医学图像分析、自动驾驶中的场景理解、以及安全监控等。通过提升MLLMs的视觉理解能力，可以实现更智能、更精确的应用，例如：辅助医生进行疾病诊断，帮助自动驾驶系统识别细微的交通标志变化，提升电商平台的商品搜索精度。

📄 摘要（原文）

High-performance Multimodal Large Language Models (MLLMs) are heavily dependent on data quality. To advance fine-grained image recognition within MLLMs, we introduce a novel data synthesis method inspired by contrastive learning and image difference captioning. Our key idea involves challenging the model to discern both matching and distinct elements by scrutinizing object differences in detailed regions across similar images. We begin by generating pairs of similar images that emphasize object variations. Following this, we employ a Difference Area Generator to pinpoint object differences, and subsequently, a Difference Captions Generator to articulate these differences. This process results in a high-quality dataset of "object replacement" samples, termed Img-Diff, which can be scaled as needed due to its automated nature. We leverage this generated dataset to fine-tune state-of-the-art (SOTA) MLLMs, such as InternVL2, achieving substantial improvements across various image difference and Visual Question Answering tasks. Notably, the trained models significantly outperform existing SOTA models like GPT-4V and Gemini on the MMVP benchmark. Additionally, we conduct comprehensive evaluations to validate the dataset's diversity, quality, and robustness, offering several insights into the synthesis of such contrastive datasets. We release our codes and dataset to encourage further research on multimodal data synthesis and MLLMs' fundamental capabilities for image understanding.