DatasetAgent: A Novel Multi-Agent System for Auto-Constructing Datasets from Real-World Images

📄 arXiv: 2507.08648v1 📥 PDF

作者: Haoran Sun, Haoyu Bian, Shaoning Zeng, Yunbo Rao, Xu Xu, Lin Mei, Jianping Gou

分类: cs.CV, cs.AI

发布日期: 2025-07-11

💡 一句话要点

提出DatasetAgent，一种基于多智能体系统的真实图像数据集自动构建方法。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 数据集构建 多模态大语言模型 图像分类 目标检测

📋 核心要点

  1. 现有图像数据集构建依赖手动收集和标注，效率低下且耗时。
  2. DatasetAgent通过多智能体协作，利用MLLM和图像优化工具，自动从真实图像构建数据集。
  3. 实验表明，DatasetAgent构建的数据集可有效训练图像分类、目标检测和图像分割等视觉模型。

📝 摘要（中文）

本文提出了一种名为DatasetAgent的新型多智能体协作系统，用于从真实世界图像中自动构建数据集。与耗时低效的手动收集和标注方法不同，DatasetAgent通过协调四个配备多模态大型语言模型（MLLM）的不同智能体以及图像优化工具包，能够根据用户指定的各种需求构建高质量的图像数据集。通过在各种开源数据集上进行的两类实验（包括扩展现有数据集和从头开始创建新数据集），使用DatasetAgent构建的多个图像数据集被用于训练各种视觉模型，包括图像分类、目标检测和图像分割。

🔬 方法详解

问题定义：当前图像数据集的构建主要依赖于人工收集和标注，这是一个耗时且效率低下的过程。虽然大型模型可以生成数据，但真实世界的数据在构建图像数据集时更具价值。因此，需要一种能够自动从真实世界图像中构建数据集的方法，以降低人工成本并提高效率。

核心思路：DatasetAgent的核心思路是利用多智能体系统模拟人工数据集构建过程。每个智能体负责不同的任务，例如图像筛选、标注、优化等，通过协作完成数据集的构建。利用多模态大型语言模型（MLLM）赋予智能体理解用户需求和处理图像数据的能力。

技术框架：DatasetAgent包含四个主要智能体：需求理解智能体、图像搜索智能体、图像标注智能体和图像优化智能体。需求理解智能体负责解析用户需求，图像搜索智能体负责从真实世界图像中搜索相关图像，图像标注智能体负责对图像进行标注，图像优化智能体负责对图像进行优化，提高图像质量。这些智能体通过一个中心协调器进行协作，共同完成数据集的构建。

关键创新：DatasetAgent的关键创新在于将多智能体系统与多模态大型语言模型相结合，实现了数据集的自动构建。与传统的数据集构建方法相比，DatasetAgent无需人工干预，可以根据用户需求快速构建高质量的数据集。此外，DatasetAgent还集成了图像优化工具包，可以提高图像质量，从而提高训练模型的性能。

关键设计：DatasetAgent的关键设计包括：1) 使用MLLM赋予智能体理解用户需求和处理图像数据的能力；2) 设计合理的智能体协作机制，保证数据集构建的效率和质量；3) 集成图像优化工具包，提高图像质量。具体参数设置、损失函数和网络结构等细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了DatasetAgent的有效性。实验结果表明，使用DatasetAgent构建的数据集训练的视觉模型在图像分类、目标检测和图像分割等任务上取得了良好的性能。具体性能数据和对比基线在摘要中未提及，属于未知信息。但结论是DatasetAgent能够有效构建高质量数据集。

🎯 应用场景

DatasetAgent可应用于各种需要大量图像数据的领域，例如自动驾驶、智能安防、医疗影像分析等。它可以帮助研究人员和开发者快速构建高质量的数据集，从而加速相关领域的研究和应用。未来，DatasetAgent可以进一步扩展到其他类型的数据集构建，例如视频数据集、文本数据集等。

📄 摘要（原文）

Common knowledge indicates that the process of constructing image datasets usually depends on the time-intensive and inefficient method of manual collection and annotation. Large models offer a solution via data generation. Nonetheless, real-world data are obviously more valuable comparing to artificially intelligence generated data, particularly in constructing image datasets. For this reason, we propose a novel method for auto-constructing datasets from real-world images by a multiagent collaborative system, named as DatasetAgent. By coordinating four different agents equipped with Multi-modal Large Language Models (MLLMs), as well as a tool package for image optimization, DatasetAgent is able to construct high-quality image datasets according to user-specified requirements. In particular, two types of experiments are conducted, including expanding existing datasets and creating new ones from scratch, on a variety of open-source datasets. In both cases, multiple image datasets constructed by DatasetAgent are used to train various vision models for image classification, object detection, and image segmentation.