A High-Quality Text-Rich Image Instruction Tuning Dataset via Hybrid Instruction Generation

📄 arXiv: 2412.16364v1 📥 PDF

作者: Shijie Zhou, Ruiyi Zhang, Yufan Zhou, Changyou Chen

分类: cs.CV, cs.CL

发布日期: 2024-12-20

备注: COLING 2025

💡 一句话要点

LLaVAR-2：通过混合指令生成高质量富文本图像指令调优数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 富文本图像 多模态学习 指令调优 混合指令生成 大型语言模型

📋 核心要点

  1. 现有大型多模态模型在处理富文本图像时面临挑战，主要原因是缺乏高质量的训练数据。
  2. LLaVAR-2通过结合人工标注和GPT-4o生成指令，提升富文本图像的多模态对齐效果，从而生成高质量指令数据。
  3. 实验表明，基于LLaVAR-2数据集微调的模型，相比使用self-instruct数据训练的模型，性能有显著提升。

📝 摘要（中文）

大型多模态模型在处理富文本图像时表现不佳，主要原因是训练数据不足。Self-Instruct提供了一种无需标注即可生成指令数据的方法，但其质量较差，因为即使对于最大的模型来说，多模态对齐仍然是一个障碍。本文提出了LLaVAR-2，通过人工标注和大型语言模型之间的混合指令生成来增强富文本图像的多模态对齐。具体来说，它包括来自人工标注者的详细图像描述，然后使用这些标注在定制的文本提示中，供GPT-4o来整理数据集。它还实施了几种机制来过滤掉低质量数据，最终生成的数据集包含424k高质量的指令对。实验结果表明，使用该数据集进行微调的模型比使用self-instruct数据训练的模型表现出显著的增强。

🔬 方法详解

问题定义：论文旨在解决大型多模态模型在处理富文本图像时，由于缺乏高质量训练数据而导致的性能瓶颈问题。现有方法，如Self-Instruct，虽然可以自动生成指令数据，但生成的数据质量不高，多模态对齐效果差，无法有效提升模型性能。

核心思路：论文的核心思路是采用混合指令生成方法，结合人工标注的精确性和大型语言模型（GPT-4o）的生成能力，从而生成高质量的富文本图像指令调优数据集。通过人工标注提供详细的图像描述，然后利用这些描述作为提示，引导GPT-4o生成指令，从而实现更准确的多模态对齐。

技术框架：LLaVAR-2的数据集构建流程主要包含以下几个阶段：1) 人工标注：由人工标注者提供详细的图像描述，捕捉图像中的关键文本信息和视觉特征。2) 指令生成：利用人工标注的图像描述，构建定制的文本提示，输入GPT-4o，生成指令数据。3) 数据过滤：实施多种机制，例如基于规则的过滤和人工审核，过滤掉低质量的指令数据，确保数据集的质量。

关键创新：LLaVAR-2的关键创新在于混合指令生成方法，它结合了人工标注的精确性和大型语言模型的生成能力，克服了传统Self-Instruct方法生成数据质量差的问题。通过人工标注提供高质量的图像描述，作为GPT-4o生成指令的先验知识，从而显著提升了多模态对齐的准确性。

关键设计：在指令生成阶段，论文设计了针对富文本图像的定制文本提示，引导GPT-4o生成多样化的指令，例如文本识别、文本理解、视觉推理等。同时，论文还采用了多种数据过滤机制，例如基于规则的过滤，用于去除明显错误的指令数据；以及人工审核，用于评估和筛选难以自动判断质量的指令数据。

🖼️ 关键图片

img_0

📊 实验亮点

LLaVAR-2数据集包含424k高质量的指令对，通过实验验证，使用该数据集微调的模型在处理富文本图像时，性能显著优于使用self-instruct数据训练的模型。具体的性能提升数据在论文中进行了详细的展示和分析，证明了LLaVAR-2数据集的有效性和优越性。

🎯 应用场景

该研究成果可广泛应用于各种需要处理富文本图像的场景，例如文档理解、信息抽取、视觉问答、图像编辑等。高质量的指令调优数据集能够提升多模态模型在这些任务上的性能，从而提高自动化处理效率和准确性，具有重要的实际应用价值和商业潜力。

📄 摘要（原文）

Large multimodal models still struggle with text-rich images because of inadequate training data. Self-Instruct provides an annotation-free way for generating instruction data, but its quality is poor, as multimodal alignment remains a hurdle even for the largest models. In this work, we propose LLaVAR-2, to enhance multimodal alignment for text-rich images through hybrid instruction generation between human annotators and large language models. Specifically, it involves detailed image captions from human annotators, followed by the use of these annotations in tailored text prompts for GPT-4o to curate a dataset. It also implements several mechanisms to filter out low-quality data, and the resulting dataset comprises 424k high-quality pairs of instructions. Empirical results show that models fine-tuned on this dataset exhibit impressive enhancements over those trained with self-instruct data.