Instruction Mining From Images: Constructing a Synthetic Dataset for Multimodal Learning ILSP DCVLR Competition Submission

📄 arXiv: 2610.19932v1 📥 PDF

作者: Eleni E. Kasoura, Dimitrios Damianos, Georgios Paraskevopoulos, Vassilios Katsouros

分类: cs.CV

发布日期: 2026-10-14

💡 一句话要点

提出一种合成数据集生成管道以支持多模态学习

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 指令生成 图像处理 奖励模型 数据合成 自然语言处理

📋 核心要点

  1. 现有方法在生成高质量图像条件指令对方面存在挑战，尤其是在多模态学习任务中。
  2. 本研究提出了一种基于图像的指令合成管道，结合了图像输入和奖励模型，以提高指令质量。
  3. 实验结果表明，生成的指令在质量上具有良好的分布，且涵盖多个推理领域，展示了方法的有效性。

📝 摘要（中文）

本研究提出了一种紧凑且可重复的管道，用于合成和整理基于图像的指令-响应对，以支持DCVLR竞赛。我们利用Cauldron集合，并采用Magpie风格的指令和响应合成方法，结合Qwen2.5-VL-7B Instruct生成简洁的图像条件指令对。该管道包括基于输入图像的指令合成、系统提示控制、指令的清理、标记和过滤，后者基于奖励模型（DeBERTa-v3）获得的分数进行。我们保留正分数样本，以最大化生成指令的质量。结果显示，生成指令的中位数和均值奖励分数分别约为1.53和1.75，表明大多数生成的指令质量良好。最终数据集涵盖数学、空间和社会推理领域的多样化指令。

🔬 方法详解

问题定义：本研究旨在解决在多模态学习中生成高质量图像条件指令对的挑战。现有方法往往缺乏系统性和可重复性，导致生成的指令质量不均。

核心思路：我们提出了一种合成和整理图像指令对的管道，利用图像输入和奖励模型来控制指令的质量，从而提升生成效果。

技术框架：该管道包括几个主要模块：指令合成、基于图像的条件控制、指令清理、标记和基于奖励模型的过滤。每个模块都旨在确保生成的指令质量和多样性。

关键创新：本研究的创新在于结合了图像输入与奖励模型的使用，使得生成的指令不仅符合图像内容，还能通过量化分数来筛选高质量样本。这种方法在生成指令的质量控制上具有显著优势。

关键设计：我们使用Qwen2.5-VL-7B Instruct进行指令合成，并通过DeBERTa-v3奖励模型对生成的指令进行评分，保留正分数样本以确保质量。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，生成指令的中位数和均值奖励分数分别约为1.53和1.75，表明大多数生成的指令质量良好。该方法在指令生成的质量控制上显著优于传统方法，展示了其在多模态学习中的有效性。

🎯 应用场景

该研究的潜在应用领域包括教育、机器人导航和人机交互等多个场景。通过生成高质量的图像条件指令，能够有效提升多模态学习系统的性能，推动相关技术的发展和应用。

📄 摘要（原文）

This work presents a compact and reproducible pipeline for synthesizing and curating image-based instruction-response pairs for DCVLR. We draw from the Cauldron collection and use Magpie-style instruction and response synthesis with Qwen2.5-VL-7B Instruct to create concise, image-conditioned instruction pairs. The pipeline consists of instruction synthesis, conditioned on input images and controlled via a system prompt, sanitization, tagging, and filtering of the instructions based on the score obtained by a reward model (DeBERTa-v3). We retain samples with positive scores to maximize the quality of the generated instructions. We observe that score distributions have a median and mean reward score of ~ 1.53 and ~ 1.75 respectively, indicating that most generated instructions are of good quality. The resulting dataset contains diverse instructions in the math, spatial, and social reasoning domains.