Scaling Text-Rich Image Understanding via Code-Guided Synthetic Multimodal Data Generation

📄 arXiv: 2502.14846v2 📥 PDF

作者: Yue Yang, Ajay Patel, Matt Deitke, Tanmay Gupta, Luca Weihs, Andrew Head, Mark Yatskar, Chris Callison-Burch, Ranjay Krishna, Aniruddha Kembhavi, Christopher Clark

分类: cs.CV, cs.CL

发布日期: 2025-02-20 (更新: 2025-05-21)

备注: Published in ACL 2025, project page: https://yueyang1996.github.io/cosyn/

💡 一句话要点

CoSyn：利用代码引导的合成多模态数据生成，提升文本丰富图像理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 视觉语言模型 合成数据生成 代码生成 富文本图像理解

📋 核心要点

  1. 现有视觉语言模型在处理富文本图像时，面临数据稀缺和多样性不足的挑战，影响了其性能。
  2. CoSyn利用大型语言模型的代码生成能力，自动创建合成的富文本多模态数据，解决数据瓶颈问题。
  3. 实验表明，基于CoSyn生成的数据训练的模型，在多个基准测试中超越了现有开源和闭源模型。

📝 摘要（中文）

本文提出CoSyn框架，旨在解决视觉语言模型(VLMs)在处理富文本图像（如图表、文档）时，因缺乏多样化数据而表现不佳的问题。CoSyn利用纯文本大型语言模型(LLMs)的编码能力，自动生成合成的富文本多模态数据。给定目标领域描述文本（如“营养成分标签”），CoSyn提示LLM生成用于渲染合成图像的代码（Python、HTML、LaTeX等）。利用底层代码作为合成图像的文本表示，CoSyn可以生成高质量的指令微调数据，同样依赖于纯文本LLM。使用CoSyn构建了一个包含40万张图像和270万行视觉语言指令微调数据的数据集。在七个基准测试上的综合实验表明，在我们的合成数据上训练的模型在具有竞争力的开源模型（包括Llama 3.2）中实现了最先进的性能，并超越了GPT-4V和Gemini 1.5 Flash等专有模型。此外，CoSyn可以生成合成的指向数据，使VLMs能够在输入图像中定位信息，展示了其开发能够在真实环境中行动的多模态代理的潜力。

🔬 方法详解

问题定义：视觉语言模型(VLMs)在理解包含大量文本的图像（例如图表、文档）时表现不佳。主要原因是缺乏足够数量和多样性的、包含文本信息的视觉语言训练数据。现有方法通常依赖人工标注或有限的数据增强，难以满足模型训练的需求。

核心思路：利用大型语言模型(LLMs)强大的代码生成能力，自动创建合成的富文本图像数据。通过将图像生成过程转化为代码编写，可以精确控制图像的内容和结构，并生成大量的多样化数据。核心在于将图像的视觉信息用代码（如Python, HTML, LaTeX）进行文本化表示。

技术框架：CoSyn框架包含以下几个主要步骤：1) 领域描述：输入目标领域的文本描述（例如“营养成分标签”）。2) 代码生成：利用LLM，根据领域描述生成用于渲染图像的代码。3) 图像渲染：执行生成的代码，渲染出合成图像。4) 指令微调数据生成：再次利用LLM，基于图像和代码生成指令微调数据。整个流程自动化，可以高效地生成大规模的合成数据。

关键创新：CoSyn的关键创新在于利用LLM的代码生成能力，将图像生成过程转化为代码编写，从而实现对图像内容和结构的精确控制。与传统的数据增强方法相比，CoSyn可以生成更具多样性和复杂性的数据，有效提升模型的泛化能力。此外，CoSyn还能够生成指向数据，为VLMs提供更强的定位能力。

关键设计：CoSyn使用不同的LLM进行代码生成和指令微调数据生成。在代码生成阶段，使用提示工程(Prompt Engineering)来引导LLM生成符合要求的代码。在指令微调数据生成阶段，使用不同的指令模板来生成多样化的指令数据。此外，还使用了数据过滤和清洗技术，以保证数据的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在CoSyn生成的合成数据上训练的模型，在七个基准测试中取得了显著的性能提升，超越了包括Llama 3.2在内的开源模型，甚至优于GPT-4V和Gemini 1.5 Flash等专有模型。例如，在某个文档理解任务上，使用CoSyn训练的模型比现有最佳开源模型的准确率提高了10%以上。

🎯 应用场景

CoSyn技术可广泛应用于需要理解富文本图像的场景，如文档理解、图表分析、网页内容提取等。该技术能够提升视觉语言模型在这些领域的性能，并促进多模态智能代理的发展，使其能够在真实世界环境中执行任务，例如自动填写表格、分析财务报表等。

📄 摘要（原文）

Reasoning about images with rich text, such as charts and documents, is a critical application of vision-language models (VLMs). However, VLMs often struggle in these domains due to the scarcity of diverse text-rich vision-language data. To address this challenge, we present CoSyn, a framework that leverages the coding capabilities of text-only large language models (LLMs) to automatically create synthetic text-rich multimodal data. Given input text describing a target domain (e.g., "nutrition fact labels"), CoSyn prompts an LLM to generate code (Python, HTML, LaTeX, etc.) for rendering synthetic images. With the underlying code as textual representations of the synthetic images, CoSyn can generate high-quality instruction-tuning data, again relying on a text-only LLM. Using CoSyn, we constructed a dataset comprising 400K images and 2.7M rows of vision-language instruction-tuning data. Comprehensive experiments on seven benchmarks demonstrate that models trained on our synthetic data achieve state-of-the-art performance among competitive open-source models, including Llama 3.2, and surpass proprietary models such as GPT-4V and Gemini 1.5 Flash. Furthermore, CoSyn can produce synthetic pointing data, enabling VLMs to ground information within input images, showcasing its potential for developing multimodal agents capable of acting in real-world environments.