Gamified crowd-sourcing of high-quality data for visual fine-tuning

📄 arXiv: 2410.04038v2 📥 PDF

作者: Shashank Yadav, Rohan Tomar, Garvit Jain, Chirag Ahooja, Shubham Chaudhary, Charles Elkan

分类: cs.AI, cs.CV

发布日期: 2024-10-05 (更新: 2024-10-08)

💡 一句话要点

提出Gamified Adversarial Prompting (GAP)框架，用于众包高质量视觉微调数据。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉指令微调 众包 游戏化 对抗学习 多模态模型 数据增强 高质量数据 模型评估

📋 核心要点

  1. 现有视觉指令微调数据质量不高，难以有效提升大型多模态模型在特定任务上的性能。
  2. GAP框架将数据收集过程游戏化，激励参与者提供针对模型弱点的细粒度、挑战性问题和答案。
  3. 实验表明，使用GAP收集的数据显著提升了MiniCPM-Llama3-V-2.5-8B等模型的性能，并具有跨模型泛化能力。

📝 摘要（中文）

本文介绍了一种名为Gamified Adversarial Prompting (GAP)的框架，该框架通过众包的方式为大型多模态模型的视觉指令微调提供高质量数据。GAP将数据收集过程转化为引人入胜的游戏，激励玩家提供细粒度、具有挑战性的问题和答案，从而针对模型知识中的薄弱环节。我们的贡献包括：(1) 一种从人类处获取问题-答案对的方法，直接解决模型知识的弱点；(2) 一种评估和奖励玩家的方法，成功地激励他们提供高质量的提交内容；(3) 一个可扩展的、游戏化的平台，成功地在短短几周内从超过50,000名参与者那里收集了这些数据。GAP的实施显著提高了小型多模态模型MiniCPM-Llama3-V-2.5-8B的准确性，使其在我们的数据集上的GPT得分从0.147提高到0.477，接近了更大的GPT-4V设定的基准。此外，我们证明了使用MiniCPM-Llama3-V-2.5-8B生成的数据也提高了其在其他基准测试中的性能，并表现出跨模型的好处。具体而言，相同的数据提高了QWEN2-VL-2B和QWEN2-VL-7B在相同多个基准测试中的性能。

🔬 方法详解

问题定义：论文旨在解决大型多模态模型视觉指令微调数据质量不高的问题。现有方法通常依赖于通用数据集或简单的众包方式，难以生成针对模型弱点的、具有挑战性的数据，导致模型在特定任务上的性能提升有限。

核心思路：论文的核心思路是将数据收集过程游戏化，通过设计奖励机制，激励参与者扮演“对抗者”的角色，主动寻找并提问能够暴露模型弱点的问题。这种对抗性的数据生成方式能够更有效地挖掘模型知识的盲区，从而生成高质量的微调数据。

技术框架：GAP框架包含以下主要模块：1) 问题生成模块：参与者根据给定的图像，生成针对模型弱点的问题；2) 答案生成模块：参与者为自己提出的问题提供答案；3) 模型评估模块：使用待微调的模型对问题进行回答，并与参与者提供的答案进行比较；4) 奖励机制：根据模型回答的准确性、问题难度等因素，对参与者进行奖励。

关键创新：GAP框架最重要的创新点在于其游戏化的对抗性数据生成方式。与传统的被动式数据收集方法不同，GAP鼓励参与者主动寻找模型的弱点，从而生成更具挑战性和信息量的微调数据。此外，GAP的奖励机制能够有效激励参与者提供高质量的提交内容。

关键设计：GAP框架的关键设计包括：1) 问题难度评估：根据模型回答的准确率、问题复杂度等因素，对问题难度进行评估，并根据难度给予不同的奖励；2) 奖励机制设计：综合考虑问题难度、答案质量、参与者贡献等因素，设计合理的奖励机制，激励参与者积极参与；3) 模型选择：选择具有一定能力但仍存在提升空间的多模态模型作为数据收集的“对手”，以保证数据生成的有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，使用GAP框架收集的数据显著提升了MiniCPM-Llama3-V-2.5-8B模型的性能，使其在数据集上的GPT得分从0.147提高到0.477，接近了GPT-4V的水平。此外，该数据还提升了QWEN2-VL-2B和QWEN2-VL-7B在多个基准测试中的性能，证明了其跨模型泛化能力。

🎯 应用场景

该研究成果可应用于各种需要高质量视觉指令微调数据的场景，例如智能客服、视觉问答、图像编辑等。通过GAP框架，可以更高效地收集到针对特定任务的微调数据，从而提升多模态模型在实际应用中的性能和用户体验。未来，该方法还可以扩展到其他模态的数据收集，例如语音、文本等。

📄 摘要（原文）

This paper introduces Gamified Adversarial Prompting (GAP), a framework that crowd-sources high-quality data for visual instruction tuning of large multimodal models. GAP transforms the data collection process into an engaging game, incentivizing players to provide fine-grained, challenging questions and answers that target gaps in the model's knowledge. Our contributions include (1) an approach to capture question-answer pairs from humans that directly address weaknesses in a model's knowledge, (2) a method for evaluating and rewarding players that successfully incentivizes them to provide high-quality submissions, and (3) a scalable, gamified platform that succeeds in collecting this data from over 50,000 participants in just a few weeks. Our implementation of GAP has significantly improved the accuracy of a small multimodal model, namely MiniCPM-Llama3-V-2.5-8B, increasing its GPT score from 0.147 to 0.477 on our dataset, approaching the benchmark set by the much larger GPT-4V. Moreover, we demonstrate that the data generated using MiniCPM-Llama3-V-2.5-8B also enhances its performance across other benchmarks, and exhibits cross-model benefits. Specifically, the same data improves the performance of QWEN2-VL-2B and QWEN2-VL-7B on the same multiple benchmarks.