Kosmos-G: Generating Images in Context with Multimodal Large Language Models

📄 arXiv: 2310.02992v3 📥 PDF

作者: Xichen Pan, Li Dong, Shaohan Huang, Zhiliang Peng, Wenhu Chen, Furu Wei

分类: cs.CV, cs.CL

发布日期: 2023-10-04 (更新: 2024-04-26)

备注: Code: https://aka.ms/Kosmos-G Project Page: https://xichenpan.github.io/kosmosg

💡 一句话要点

提出Kosmos-G以解决多模态图像生成中的输入限制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态生成 图像生成 大语言模型 主题驱动 无缝集成

📋 核心要点

  1. 现有的图像生成方法在处理多模态输入时存在局限，无法满足多样化的应用需求。
  2. Kosmos-G模型通过对多模态大语言模型进行优化，能够处理交错的多图像和文本输入，提升生成能力。
  3. 该模型在零-shot生成任务中表现出色，且无需修改图像解码器，简化了与现有技术的集成过程。

📝 摘要（中文）

近年来，基于主题的图像生成取得了显著进展，但现有方法在多样化应用场景中仍显不足，尤其是在测试时调优和处理交错的多图像与文本输入方面存在局限。本文提出了Kosmos-G模型，利用多模态大语言模型（MLLM）的先进感知能力，旨在解决这些挑战。该方法通过将MLLM的输出空间与CLIP对齐，并使用文本模态作为锚点，在精心策划的数据上进行组合指令调优。Kosmos-G展示了在零-shot主题驱动生成方面的卓越能力，能够处理交错的多图像和文本输入，并且其分数蒸馏指令调优无需对图像解码器进行修改，从而实现了与多种U-Net技术的无缝集成。

🔬 方法详解

问题定义：本文旨在解决现有图像生成方法在多模态输入处理中的不足，尤其是无法有效处理交错的多图像和文本输入的问题。现有方法在测试时调优方面也存在局限，影响了其应用的灵活性和广泛性。

核心思路：Kosmos-G的核心思路是利用多模态大语言模型（MLLM）的感知能力，通过将输出空间与CLIP对齐，使用文本模态作为锚点，进行组合指令调优，从而实现更灵活的图像生成。

技术框架：Kosmos-G的整体架构包括多个模块，首先是输入处理模块，能够接收交错的多图像和文本输入；接着是MLLM模块，负责生成图像；最后是输出模块，与CLIP对齐以确保生成结果的质量。

关键创新：Kosmos-G的主要创新在于其分数蒸馏指令调优方法，该方法无需对图像解码器进行修改，允许与多种U-Net技术的无缝集成，显著提升了生成的灵活性和效果。

关键设计：在设计上，Kosmos-G采用了特定的损失函数以优化生成质量，并在网络结构上进行了调整，以支持多模态输入的处理，确保模型能够高效地进行主题驱动的图像生成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Kosmos-G在零-shot主题驱动生成任务中表现出色，能够处理交错的多图像和文本输入，且在与基线模型的对比中，生成质量显著提升。实验结果表明，该模型在多种生成任务中均展现了优越的性能，尤其是在灵活性和集成性方面的优势。

🎯 应用场景

Kosmos-G模型在图像生成领域具有广泛的应用潜力，尤其是在艺术创作、广告设计和虚拟现实等场景中。其能够处理复杂的多模态输入，使得用户能够更灵活地生成符合需求的图像，提升了创作的效率和质量。未来，该技术可能会推动更多基于图像生成的创新应用，改变传统的创作方式。

📄 摘要（原文）

Recent advancements in subject-driven image generation have made significant strides. However, current methods still fall short in diverse application scenarios, as they require test-time tuning and cannot accept interleaved multi-image and text input. These limitations keep them far from the ultimate goal of "image as a foreign language in image generation." This paper presents Kosmos-G, a model that leverages the advanced multimodal perception capabilities of Multimodal Large Language Models (MLLMs) to tackle the aforementioned challenge. Our approach aligns the output space of MLLM with CLIP using the textual modality as an anchor and performs compositional instruction tuning on curated data. Kosmos-G demonstrates an impressive capability of zero-shot subject-driven generation with interleaved multi-image and text input. Notably, the score distillation instruction tuning requires no modifications to the image decoder. This allows for a seamless substitution of CLIP and effortless integration with a myriad of U-Net techniques ranging from fine-grained controls to personalized image decoder variants. We posit Kosmos-G as an initial attempt towards the goal of "image as a foreign language in image generation." The code can be found at https://aka.ms/Kosmos-G