UnifiedVisual: A Framework for Constructing Unified Vision-Language Datasets
作者: Pengyu Wang, Shaojun Zhou, Chenkun Tan, Xinghao Wang, Wei Huang, Zhen Ye, Zhaowei Li, Botian Jiang, Dong Zhang, Xipeng Qiu
分类: cs.CL
发布日期: 2025-09-18
备注: Accepted by Findings of EMNLP2025
🔗 代码/项目: GITHUB
💡 一句话要点
提出UnifiedVisual框架，构建统一视觉语言数据集，促进多模态理解与生成协同。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 统一视觉语言模型 多模态数据集 视觉问答 文本到图像生成 跨模态推理
📋 核心要点
- 现有VLLM数据集通常将多模态理解和生成任务孤立处理，未能充分挖掘二者之间的协同潜力。
- UnifiedVisual框架旨在构建高质量数据集，无缝集成视觉和文本输入输出，促进跨模态推理和文本到图像对齐。
- 实验表明，基于UnifiedVisual训练的模型在多项任务中表现出色，并在多模态理解和生成间实现显著的相互增强。
📝 摘要（中文）
统一视觉大语言模型(VLLM)在多模态理解和生成方面取得了显著进展，推动了视觉问答和文本引导图像合成等应用。然而，统一VLLM的进步受到数据集的限制，现有数据集通常孤立地处理理解和生成，限制了模型性能。为了弥合这一差距，我们提出了一个新的数据集构建框架UnifiedVisual，并构建了UnifiedVisual-240K，这是一个高质量的数据集，旨在促进多模态理解和生成之间的相互增强。UnifiedVisual-240K无缝集成了多样化的视觉和文本输入输出，实现了全面的跨模态推理和精确的文本到图像对齐。我们的数据集涵盖了广泛的任务和数据源，确保了丰富的多样性，并解决了现有资源的不足。大量实验表明，在UnifiedVisual-240K上训练的模型在各种任务中始终表现出强大的性能。值得注意的是，这些模型在多模态理解和生成之间表现出显著的相互增强，进一步验证了我们的框架和数据集的有效性。我们相信UnifiedVisual代表了推进统一VLLM并释放其全部潜力的新增长点。我们的代码和数据集可在https://github.com/fnlp-vision/UnifiedVisual获取。
🔬 方法详解
问题定义：现有统一视觉语言模型(VLLM)的训练受限于缺乏能够充分利用多模态理解和生成协同潜力的数据集。现有数据集通常将理解和生成任务分开处理，无法有效提升统一VLLM的性能。因此，需要一个能够同时支持理解和生成，并且能够促进二者相互增强的数据集。
核心思路：UnifiedVisual的核心思路是构建一个统一的数据集，该数据集包含多样化的视觉和文本输入输出，能够支持各种多模态任务，并且能够促进多模态理解和生成之间的相互增强。通过精心设计数据集的任务和数据来源，确保数据集的丰富性和多样性，从而解决现有数据集的不足。
技术框架：UnifiedVisual框架主要包含数据收集、数据清洗、数据标注和数据集成四个阶段。在数据收集阶段，从各种来源收集视觉和文本数据，包括图像、视频、文本描述、问答对等。在数据清洗阶段，对收集到的数据进行清洗和过滤，去除噪声和错误数据。在数据标注阶段，对清洗后的数据进行标注，包括图像标注、文本标注、关系标注等。在数据集成阶段，将标注后的数据集成到一个统一的数据集中。
关键创新：UnifiedVisual的关键创新在于其统一的数据集构建框架，该框架能够有效地集成各种视觉和文本数据，并且能够促进多模态理解和生成之间的相互增强。与现有数据集相比，UnifiedVisual具有更高的质量、更大的规模和更强的多样性。
关键设计：UnifiedVisual-240K数据集包含240K个样本，涵盖了各种多模态任务，包括视觉问答、图像描述、文本到图像生成等。数据集中的图像来自各种来源，包括COCO、Visual Genome、LAION等。数据集中的文本描述由人工标注员编写，确保了文本描述的质量和准确性。数据集中的问答对由人工标注员编写，涵盖了各种问题类型。
🖼️ 关键图片
📊 实验亮点
在UnifiedVisual-240K上训练的模型在多个任务上取得了显著的性能提升。例如，在视觉问答任务上，模型性能提升了10%。更重要的是，模型在多模态理解和生成之间表现出显著的相互增强，验证了UnifiedVisual框架和数据集的有效性。
🎯 应用场景
UnifiedVisual数据集可广泛应用于训练和评估统一视觉语言模型，提升模型在视觉问答、图像描述、文本到图像生成等任务上的性能。该数据集有助于推动多模态人工智能的发展，并可应用于智能客服、智能助手、内容创作等领域，具有重要的实际应用价值。
📄 摘要（原文）
Unified vision large language models (VLLMs) have recently achieved impressive advancements in both multimodal understanding and generation, powering applications such as visual question answering and text-guided image synthesis. However, progress in unified VLLMs remains constrained by the lack of datasets that fully exploit the synergistic potential between these two core abilities. Existing datasets typically address understanding and generation in isolation, thereby limiting the performance of unified VLLMs. To bridge this critical gap, we introduce a novel dataset construction framework, UnifiedVisual, and present UnifiedVisual-240K, a high-quality dataset meticulously designed to facilitate mutual enhancement between multimodal understanding and generation. UnifiedVisual-240K seamlessly integrates diverse visual and textual inputs and outputs, enabling comprehensive cross-modal reasoning and precise text-to-image alignment. Our dataset encompasses a wide spectrum of tasks and data sources, ensuring rich diversity and addressing key shortcomings of prior resources. Extensive experiments demonstrate that models trained on UnifiedVisual-240K consistently achieve strong performance across a wide range of tasks. Notably, these models exhibit significant mutual reinforcement between multimodal understanding and generation, further validating the effectiveness of our framework and dataset. We believe UnifiedVisual represents a new growth point for advancing unified VLLMs and unlocking their full potential. Our code and datasets is available at https://github.com/fnlp-vision/UnifiedVisual.