TaskGalaxy: Scaling Multi-modal Instruction Fine-tuning with Tens of Thousands Vision Task Types

📄 arXiv: 2502.09925v1 📥 PDF

作者: Jiankang Chen, Tianke Zhang, Changyi Liu, Haojie Ding, Yaya Shi, Feng Cheng, Huihui Xiao, Bin Wen, Fan Yang, Tingting Gao, Di Zhang

分类: cs.CV, cs.AI

发布日期: 2025-02-14

🔗 代码/项目: GITHUB

💡 一句话要点

TaskGalaxy：通过数万种视觉任务类型扩展多模态指令微调

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 视觉语言模型 指令微调 任务多样性 数据生成 GPT-4o CLIP 开放世界

📋 核心要点

  1. 现有视觉语言模型在任务泛化和避免偏差方面面临挑战，主要原因是缺乏足够且多样化的任务特定数据。
  2. TaskGalaxy通过自动化流程，利用GPT-4o和CLIP等模型，从少量人工标注任务扩展到数万种任务类型，显著提升了任务多样性。
  3. 实验表明，将TaskGalaxy应用于LLaVA-v1.5和InternVL-Chat-v1.0模型，在多个基准测试中取得了显著的性能提升。

📝 摘要（中文）

多模态视觉语言模型在开放世界应用中日益重要，这得益于模型架构、训练技术和高质量数据的进步。然而，它们的性能常常受到特定任务数据不足的限制，导致泛化能力差和输出偏差。现有增加微调数据集中任务多样性的努力受到人工任务标注的劳动密集型过程的阻碍，通常只能产生几百种任务类型。为了解决这个问题，我们提出了TaskGalaxy，一个大规模多模态指令微调数据集，包含19,227个分层任务类型和413,648个样本。TaskGalaxy利用GPT-4o通过从一小部分手动定义的任务扩展来丰富任务多样性，并使用CLIP和GPT-4o过滤那些最匹配开源图像的任务，并生成相关的问答对。采用多个模型来确保样本质量。这种自动化过程增强了任务多样性和数据质量，减少了人工干预。将TaskGalaxy整合到LLaVA-v1.5和InternVL-Chat-v1.0模型中，在16个基准测试中显示出显著的性能提升，证明了任务多样性的重要性。TaskGalaxy已公开发布。

🔬 方法详解

问题定义：现有的多模态视觉语言模型在开放世界应用中表现出潜力，但其性能受限于训练数据中任务类型的多样性。人工标注任务类型成本高昂，导致现有数据集任务类型数量有限，模型泛化能力不足，容易产生偏差。因此，如何高效地构建大规模、多样化的多模态任务数据集是关键问题。

核心思路：TaskGalaxy的核心思路是利用大型语言模型（如GPT-4o）的生成能力，结合视觉模型（如CLIP）的筛选能力，自动化地扩展任务类型和生成高质量的训练数据。通过少量人工定义的种子任务，引导GPT-4o生成更多样化的任务描述，并利用CLIP筛选与开源图像匹配的任务，从而降低人工标注成本，提高数据多样性和质量。

技术框架：TaskGalaxy的整体框架包含以下几个主要阶段：1) 种子任务定义：人工定义少量核心任务类型作为种子。2) 任务扩展：利用GPT-4o基于种子任务生成更多样化的任务描述。3) 图像匹配与筛选：使用CLIP模型计算任务描述与开源图像的相似度，筛选出匹配度高的任务-图像对。4) 问答对生成：利用GPT-4o基于任务描述和图像生成高质量的问答对。5) 质量控制：使用多个模型对生成的问答对进行质量评估和过滤，确保数据质量。

关键创新：TaskGalaxy最重要的创新在于其自动化任务类型扩展和数据生成流程。与传统依赖人工标注的方法相比，TaskGalaxy能够以更低的成本和更高的效率生成大规模、多样化的多模态任务数据集。此外，利用CLIP进行图像匹配和筛选，以及使用多个模型进行质量控制，保证了数据的质量和相关性。

关键设计：在任务扩展阶段，使用了精心设计的prompt来引导GPT-4o生成多样化的任务描述。在图像匹配阶段，使用了CLIP的图像-文本相似度计算功能，并设置了合适的阈值来筛选匹配的任务-图像对。在问答对生成阶段，使用了GPT-4o的指令遵循能力，并对生成的答案进行了后处理，以提高答案的准确性和流畅性。此外，还使用了多个不同的模型进行数据质量评估，并设置了相应的过滤规则。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TaskGalaxy数据集被用于微调LLaVA-v1.5和InternVL-Chat-v1.0模型，并在16个基准测试中取得了显著的性能提升。实验结果表明，TaskGalaxy能够有效提升模型在各种视觉任务上的泛化能力和准确性，证明了任务多样性对于多模态视觉语言模型的重要性。具体提升幅度在不同基准测试上有所不同，但总体趋势是显著的。

🎯 应用场景

TaskGalaxy的研究成果可广泛应用于多模态视觉语言模型的训练和评估，提升模型在开放世界场景下的理解和推理能力。例如，可以应用于智能助手、图像搜索、视觉问答、机器人导航等领域，提高这些应用在复杂环境下的实用性和可靠性。未来，该方法可以进一步扩展到其他模态和任务类型，构建更通用、更强大的多模态智能系统。

📄 摘要（原文）

Multimodal visual language models are gaining prominence in open-world applications, driven by advancements in model architectures, training techniques, and high-quality data. However, their performance is often limited by insufficient task-specific data, leading to poor generalization and biased outputs. Existing efforts to increase task diversity in fine-tuning datasets are hindered by the labor-intensive process of manual task labeling, which typically produces only a few hundred task types. To address this, we propose TaskGalaxy, a large-scale multimodal instruction fine-tuning dataset comprising 19,227 hierarchical task types and 413,648 samples. TaskGalaxy utilizes GPT-4o to enrich task diversity by expanding from a small set of manually defined tasks, with CLIP and GPT-4o filtering those that best match open-source images, and generating relevant question-answer pairs. Multiple models are employed to ensure sample quality. This automated process enhances both task diversity and data quality, reducing manual intervention. Incorporating TaskGalaxy into LLaVA-v1.5 and InternVL-Chat-v1.0 models shows substantial performance improvements across 16 benchmarks, demonstrating the critical importance of task diversity. TaskGalaxy is publicly released at https://github.com/Kwai-YuanQi/TaskGalaxy.