MLLM-Selector: Necessity and Diversity-driven High-Value Data Selection for Enhanced Visual Instruction Tuning

📄 arXiv: 2503.20502v2 📥 PDF

作者: Yiwei Ma, Guohai Xu, Xiaoshuai Sun, Jiayi Ji, Jie Lou, Debing Zhang, Rongrong Ji

分类: cs.CV

发布日期: 2025-03-26 (更新: 2025-03-30)

备注: Tech Report

💡 一句话要点

提出MLLM-Selector，通过必要性和多样性驱动的高价值数据选择增强视觉指令微调。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉指令微调 多模态学习 数据选择 必要性 多样性 大型语言模型 自动化

📋 核心要点

  1. 现有的视觉指令微调方法缺乏对高质量训练数据属性的深入理解，并且缺乏自动数据选择框架。
  2. MLLM-Selector通过权衡数据的必要性和多样性，自动选择对视觉指令微调有价值的数据，提升模型性能。
  3. 实验结果表明，MLLM-Selector在少量数据下即可超越现有方法，并在多个基准测试中取得一致的性能提升。

📝 摘要（中文）

视觉指令微调(VIT)已成为使多模态大型语言模型(MLLM)能够熟练地遵循用户指令的关键技术。然而，对于高质量指令微调数据的属性以及用于其自动选择的框架的理解仍然存在显著差距。为了解决这个问题，我们引入了MLLM-Selector，这是一种自动方法，通过权衡必要性和多样性来识别用于VIT的宝贵数据。我们的过程首先从VIT数据池中随机抽样一个子集来微调一个预训练模型，从而创建一个具有初始指令遵循能力的种子模型。然后，利用种子模型，我们计算VIT数据池中每个样本的必要性分数，以识别对于提高模型性能至关重要的样本。我们的研究结果强调了在数据选择中混合必要性和多样性的重要性，从而促成了MLLM-Selector的创建，我们的方法将必要性评分与战略抽样相结合，以实现卓越的数据提炼。经验结果表明，在相同的实验条件下，MLLM-Selector在使用不到1%的数据的情况下，在某些基准测试中超过了LLaVA-1.5，并且在使用不到50%的数据时，始终超过所有验证基准测试的性能。

🔬 方法详解

问题定义：视觉指令微调（VIT）旨在使多模态大型语言模型（MLLM）能够更好地理解和执行视觉相关的指令。然而，现有的VIT方法在选择高质量训练数据方面存在不足，缺乏对数据内在价值的有效评估机制，导致训练效率低下和模型性能受限。现有方法难以区分哪些数据对于提升模型指令遵循能力至关重要，也忽略了数据多样性对模型泛化能力的影响。

核心思路：MLLM-Selector的核心思路是通过量化数据样本的“必要性”和“多样性”，从而实现对高价值数据的自动选择。必要性衡量了样本对提升模型性能的贡献程度，而多样性则保证了模型能够学习到更广泛的知识和技能。通过将两者结合，MLLM-Selector旨在选择既能显著提升模型性能，又能保证模型泛化能力的训练数据。

技术框架：MLLM-Selector的整体框架包含以下几个主要阶段： 1. 种子模型训练：从VIT数据池中随机抽取一个子集，用于训练一个初始的种子模型，使其具备初步的指令遵循能力。 2. 必要性评分：利用种子模型，对VIT数据池中的每个样本进行必要性评分。评分越高，表示该样本对提升模型性能的贡献越大。 3. 多样性采样：在必要性评分的基础上，结合多样性采样策略，选择具有代表性的样本，避免选择过于相似的样本。 4. 数据提炼：将选择出的高价值数据用于微调MLLM，提升其视觉指令遵循能力。

关键创新：MLLM-Selector的关键创新在于提出了一个结合必要性和多样性的数据选择框架。与传统的数据选择方法相比，MLLM-Selector能够更有效地识别对模型性能提升至关重要的样本，并保证数据的多样性，从而提高模型的泛化能力。此外，MLLM-Selector采用自动化流程，无需人工干预，降低了数据选择的成本。

关键设计： 1. 必要性评分函数：具体评分函数的选择未知，但其目标是量化每个样本对模型性能的贡献。 2. 多样性采样策略：具体采样策略未知，但其目标是选择具有代表性的样本，避免选择过于相似的样本。 3. 种子模型选择：种子模型的选择会影响后续的必要性评分，因此需要选择一个具有一定指令遵循能力的预训练模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在相同的实验条件下，MLLM-Selector在使用不到1%的数据的情况下，在某些基准测试中超过了LLaVA-1.5，并且在使用不到50%的数据时，始终超过所有验证基准测试的性能。这表明MLLM-Selector能够以更少的数据实现更高的性能，具有显著的优势。

🎯 应用场景

MLLM-Selector可应用于各种视觉指令微调任务，例如图像描述生成、视觉问答、目标检测等。该方法能够有效提升多模态大型语言模型在这些任务上的性能，并降低数据标注和训练成本。未来，该研究可以扩展到其他多模态学习任务，例如视频理解和语音识别，具有广阔的应用前景。

📄 摘要（原文）

Visual instruction tuning (VIT) has emerged as a crucial technique for enabling multi-modal large language models (MLLMs) to follow user instructions adeptly. Yet, a significant gap persists in understanding the attributes of high-quality instruction tuning data and frameworks for its automated selection. To address this, we introduce MLLM-Selector, an automated approach that identifies valuable data for VIT by weighing necessity and diversity. Our process starts by randomly sampling a subset from the VIT data pool to fine-tune a pretrained model, thus creating a seed model with an initial ability to follow instructions. Then, leveraging the seed model, we calculate necessity scores for each sample in the VIT data pool to identify samples pivotal for enhancing model performance. Our findings underscore the importance of mixing necessity and diversity in data choice, leading to the creation of MLLM-Selector, our methodology that fuses necessity scoring with strategic sampling for superior data refinement. Empirical results indicate that within identical experimental conditions, MLLM-Selector surpasses LLaVA-1.5 in some benchmarks with less than 1% of the data and consistently exceeds performance across all validated benchmarks when using less than 50%.