MUMU: Bootstrapping Multimodal Image Generation from Text-to-Image Data

📄 arXiv: 2406.18790v2 📥 PDF

作者: William Berman, Alexander Peysakhovich

分类: cs.CV, cs.AI

发布日期: 2024-06-26 (更新: 2024-09-11)

💡 一句话要点

MUMU：利用文本到图像数据引导多模态图像生成

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态图像生成 视觉-语言模型 扩散模型 自举学习 风格迁移

📋 核心要点

  1. 现有图像生成模型难以处理包含图像提示的多模态输入，限制了其在复杂场景下的应用。
  2. MUMU通过从文本-图像数据集中提取图像裁剪块构建多模态数据集，并训练视觉-语言模型以理解和组合多模态提示。
  3. 实验表明，MUMU能够将来自不同图像的输入组合成连贯的输出，并在风格迁移和角色一致性等任务上表现出色。

📝 摘要（中文）

本文提出了一种模型MUMU，用于从交错文本和图像的多模态提示中生成图像，例如“一个<男人图片>男人和他<狗图片>的狗，采用<卡通图片>动画风格”。通过提取合成生成和公开可用的文本-图像数据集中，图像标题中与单词对应的语义上有意义的图像裁剪块，引导出一个多模态数据集。MUMU由一个带有扩散解码器的视觉-语言模型编码器组成，并在单个8xH100 GPU节点上进行训练。尽管仅在同一图像的裁剪块上进行训练，但MUMU学会了将来自不同图像的输入组合成连贯的输出。例如，一个真实的人和一个卡通的输入将输出卡通风格的同一个人，而一个站立的主体和一个滑板车的输入将输出骑滑板车的主体。因此，该模型可以推广到风格迁移和角色一致性等任务。结果表明，使用多模态模型作为图像生成的通用控制器具有很大的潜力。

🔬 方法详解

问题定义：论文旨在解决图像生成模型无法有效处理多模态输入的问题，即模型难以理解和组合文本和图像混合的提示。现有方法主要依赖于纯文本提示，无法充分利用图像信息，限制了生成图像的灵活性和控制性。

核心思路：论文的核心思路是通过自举（bootstrapping）的方式构建一个多模态数据集，然后训练一个视觉-语言模型，使其能够理解和组合来自文本和图像的提示。通过从现有的文本-图像数据集中提取语义相关的图像裁剪块，可以有效地创建用于训练多模态生成模型的数据。

技术框架：MUMU模型由一个视觉-语言模型编码器和一个扩散解码器组成。编码器负责将文本和图像提示编码成统一的特征表示，扩散解码器则根据该特征表示生成图像。整个训练过程在单个8xH100 GPU节点上完成。

关键创新：该论文的关键创新在于提出了一种自举多模态数据集的方法，该方法能够有效地利用现有的文本-图像数据来训练多模态图像生成模型。此外，MUMU模型能够将来自不同图像的输入组合成连贯的输出，这表明该模型具有强大的组合能力和泛化能力。

关键设计：数据集构建的关键在于提取与文本描述语义相关的图像裁剪块。模型训练的关键在于设计合适的视觉-语言模型编码器和扩散解码器，使其能够有效地处理多模态输入并生成高质量的图像。具体的网络结构和损失函数等细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MUMU模型在风格迁移和角色一致性等任务上表现出色，能够将来自不同图像的输入组合成连贯的输出。例如，输入一个真实的人和一个卡通风格，模型可以生成卡通风格的同一个人。输入一个站立的人和一个滑板车，模型可以生成该人骑滑板车的图像。这些结果表明MUMU模型具有强大的组合能力和泛化能力。

🎯 应用场景

MUMU模型具有广泛的应用前景，例如风格迁移、角色一致性图像生成、以及基于图像提示的图像编辑等。该模型可以作为图像生成的通用控制器，为用户提供更灵活和可控的图像生成体验。未来，该技术可以应用于游戏开发、广告设计、虚拟现实等领域。

📄 摘要（原文）

We train a model to generate images from multimodal prompts of interleaved text and images such as "a man and his dog in an animated style." We bootstrap a multimodal dataset by extracting semantically meaningful image crops corresponding to words in the image captions of synthetically generated and publicly available text-image data. Our model, MUMU, is composed of a vision-language model encoder with a diffusion decoder and is trained on a single 8xH100 GPU node. Despite being only trained on crops from the same image, MUMU learns to compose inputs from different images into a coherent output. For example, an input of a realistic person and a cartoon will output the same person in the cartoon style, and an input of a standing subject and a scooter will output the subject riding the scooter. As a result, our model generalizes to tasks such as style transfer and character consistency. Our results show the promise of using multimodal models as general purpose controllers for image generation.