MLLM-DataEngine: Closing the Loop of Multimodal Instruction Tuning Data Generation

📄 arXiv: 2607.15299 📥 PDF

作者: Zhiyuan Zhao, Bin Wang, Linke Ouyang, Yiqi Lin, Pan Zhang, Xiaoyi Dong, Jiaqi Wang, Conghui He

分类: cs.MM, cs.CV, cs.LG

发布日期: 2026-07-20

💡 一句话要点

提出MLLM-DataEngine以解决多模态指令调优数据生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大模型 指令微调 数据生成 闭环系统 自适应采样 模型评估 自动化训练

📋 核心要点

  1. 现有的指令微调数据集收集方法与基准测试分离，导致模型能力提升效果不佳。
  2. MLLM-DataEngine通过闭环系统，结合数据生成、模型训练和评估，自动生成增量数据集以提升模型能力。
  3. 实验结果表明，MLLM-DataEngine能够在没有人工干预的情况下，针对性地提升多模态大模型的能力。

📝 摘要（中文）

本文提出了MLLM-DataEngine，一个新颖的闭环系统，旨在连接数据生成、模型训练和评估。在每次循环迭代中，MLLM-DataEngine首先根据评估结果分析模型的弱点，然后生成适当的增量数据集以进行下一次训练，并迭代增强模型能力。与以往与基准测试分离的指令微调数据集收集方法相比，MLLM-DataEngine展现出更好的针对性，能够更有效地提升多模态大模型的能力。我们提出的自适应坏例采样模块能够有效分析模型弱点，并灵活调整增量数据集的生成。通过广泛的实验，我们发现MLLM-DataEngine能够以自动化的方式提升多模态大模型的能力，无需人工参与。

🔬 方法详解

问题定义：本文旨在解决现有多模态大模型在指令微调过程中，数据生成与模型评估分离的问题，导致模型能力提升效果不理想。

核心思路：MLLM-DataEngine通过闭环系统设计，分析模型弱点并生成增量数据集，以实现模型能力的迭代提升。这样的设计使得数据生成与模型评估紧密结合，确保数据的针对性和有效性。

技术框架：MLLM-DataEngine的整体架构包括数据生成模块、模型训练模块和评估模块。每次迭代中，评估模块分析模型表现，数据生成模块根据分析结果生成新的增量数据集，随后进行模型训练。

关键创新：最重要的技术创新在于自适应坏例采样模块，该模块能够根据基准测试结果灵活调整增量数据集的生成，确保数据的高质量和针对性。

关键设计：在数据生成过程中，提供最具代表性的上下文示例和丰富的信息给GPT-4，以帮助其全面理解模型的弱点，从而生成高质量的数据集。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MLLM-DataEngine在多模态大模型的能力提升上表现出色，能够在没有人工参与的情况下，针对性地提升模型能力。具体性能数据和对比基线尚未披露，但整体提升幅度显著。

🎯 应用场景

MLLM-DataEngine在多模态大模型的训练和优化中具有广泛的应用潜力，能够用于自然语言处理、计算机视觉等领域的模型提升。其自动化的数据生成和模型评估流程，能够显著降低人工干预的需求，提高模型训练的效率和效果。

📄 摘要（原文）

In this paper, we propose MLLM-DataEngine, a novel closed-loop system that bridges data generation, model training, and evaluation. Within each loop iteration, the MLLM-DataEngine first analyzes the weakness of the model based on the evaluation results, then generates a proper incremental dataset for the next training iteration, and enhances the model capability iteratively. Compared with previous instruction fine-tuning dataset collection methods which are separate from the benchmarking, MLLM-DataEngine shows better targeting and can improve MLLMs's capabilities more effectively. Firstly, we propose an Adaptive Bad-case Sampling module, which can effectively analyze model weakness based on the benchmarking results and adjust the generation of incremental datasets flexibly. Secondly, in order to ensure high-quality data for specific capability types, the most representative in-context examples and abundant information are provided to GPT-4, which helps GPT-4 fully comprehend the model's weakness and further guarantees high-quality generated data. Through extensive experiments, we find MLLM-DataEngine could boost the MLLMs capability in a targeted and automatic manner without human participants. We hope MLLM-DataEngine could be a general solution for the following MLLMs data curation. Code, data, and model are available atthis https URL.