BLIP3-o: A Family of Fully Open Unified Multimodal Models-Architecture, Training and Dataset
作者: Jiuhai Chen, Zhiyang Xu, Xichen Pan, Yushi Hu, Can Qin, Tom Goldstein, Lifu Huang, Tianyi Zhou, Saining Xie, Silvio Savarese, Le Xue, Caiming Xiong, Ran Xu
分类: cs.CV, cs.AI
发布日期: 2025-05-14
💡 一句话要点
BLIP3-o：全开放统一多模态模型族，架构、训练与数据集的全面研究
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 图像生成 扩散模型 CLIP特征 Transformer 指令调优 统一模型
📋 核心要点
- 现有统一多模态模型在图像生成方面仍存在挑战，缺乏对模型架构和训练方案的深入探索。
- 论文提出一种新方法，利用扩散Transformer生成语义丰富的CLIP图像特征，提升训练效率和生成质量。
- BLIP3-o模型在图像理解和生成任务的多个基准测试中表现出色，并开源了代码、模型权重和数据集。
📝 摘要（中文）
多模态模型中统一图像理解和生成的研究日益受到关注。尽管图像理解的设计选择已被广泛研究，但用于图像生成的统一框架的最佳模型架构和训练方案仍未被充分探索。受自回归和扩散模型在高质量生成和可扩展性方面的强大潜力驱动，我们对它们在统一多模态环境中的应用进行了全面研究，重点关注图像表示、建模目标和训练策略。基于这些研究，我们引入了一种新方法，该方法采用扩散Transformer来生成语义丰富的CLIP图像特征，而不是传统的基于VAE的表示。这种设计提高了训练效率和生成质量。此外，我们证明了统一模型的顺序预训练策略——首先训练图像理解，然后训练图像生成——通过保持图像理解能力同时发展强大的图像生成能力，提供了实际优势。最后，我们精心策划了一个高质量的指令调优数据集BLIP3o-60k，用于图像生成，通过使用GPT-4o提示各种场景、对象、人类手势等的多样化标题。基于我们创新的模型设计、训练方案和数据集，我们开发了BLIP3-o，一套最先进的统一多模态模型。BLIP3-o在涵盖图像理解和生成任务的大多数流行基准测试中实现了卓越的性能。为了促进未来的研究，我们完全开源了我们的模型，包括代码、模型权重、训练脚本以及预训练和指令调优数据集。
🔬 方法详解
问题定义：论文旨在解决统一多模态模型中图像理解和生成任务的架构设计和训练策略问题。现有方法，特别是基于VAE的图像表示，在训练效率和生成质量上存在局限性。此外，如何平衡图像理解和生成能力，以及如何有效地进行训练也是挑战。
核心思路：论文的核心思路是利用扩散Transformer生成CLIP图像特征，替代传统的VAE方法。扩散模型在生成高质量图像方面表现出色，而CLIP特征则能提供丰富的语义信息。通过这种方式，模型既能高效训练，又能生成高质量的图像。此外，论文还提出了一种顺序预训练策略，先训练图像理解，再训练图像生成，以保持两种能力。
技术框架：BLIP3-o的整体框架包含图像编码器、文本编码器和一个扩散Transformer。图像编码器将图像转换为特征表示，文本编码器将文本描述转换为特征表示。扩散Transformer接收文本特征作为条件，并生成CLIP图像特征。在训练阶段，模型首先进行图像理解任务的预训练，然后进行图像生成任务的预训练，最后进行指令调优。
关键创新：最重要的技术创新点是使用扩散Transformer生成CLIP图像特征。与传统的VAE方法相比，扩散Transformer能够生成更高质量、更具语义信息的图像特征，从而提升图像生成效果。此外，顺序预训练策略也是一个创新点，它能够有效地平衡图像理解和生成能力。
关键设计：论文使用了CLIP模型作为图像和文本的特征提取器。扩散Transformer的具体结构未知，但推测使用了标准的Transformer架构，并针对图像生成任务进行了优化。损失函数包括扩散模型的损失函数和CLIP模型的对比学习损失函数。指令调优数据集BLIP3o-60k的构建也至关重要，它使用了GPT-4o生成多样化的标题，覆盖了各种场景、对象和人类手势。
🖼️ 关键图片
📊 实验亮点
BLIP3-o在多个图像理解和生成基准测试中取得了优异的性能。具体数据未知，但摘要中提到其性能优于现有方法。通过使用扩散Transformer和顺序预训练策略，BLIP3-o在图像生成质量和训练效率方面都得到了显著提升。开源的模型、代码和数据集将为研究人员提供宝贵的资源。
🎯 应用场景
BLIP3-o具有广泛的应用前景，包括图像生成、图像编辑、视觉问答、图像描述等。该模型可以用于生成逼真且具有语义一致性的图像，也可以用于根据文本描述编辑图像。此外，BLIP3-o还可以应用于机器人视觉、自动驾驶等领域，提升机器对环境的理解和交互能力。开源的模型和数据集将促进多模态研究的发展。
📄 摘要（原文）
Unifying image understanding and generation has gained growing attention in recent research on multimodal models. Although design choices for image understanding have been extensively studied, the optimal model architecture and training recipe for a unified framework with image generation remain underexplored. Motivated by the strong potential of autoregressive and diffusion models for high-quality generation and scalability, we conduct a comprehensive study of their use in unified multimodal settings, with emphasis on image representations, modeling objectives, and training strategies. Grounded in these investigations, we introduce a novel approach that employs a diffusion transformer to generate semantically rich CLIP image features, in contrast to conventional VAE-based representations. This design yields both higher training efficiency and improved generative quality. Furthermore, we demonstrate that a sequential pretraining strategy for unified models-first training on image understanding and subsequently on image generation-offers practical advantages by preserving image understanding capability while developing strong image generation ability. Finally, we carefully curate a high-quality instruction-tuning dataset BLIP3o-60k for image generation by prompting GPT-4o with a diverse set of captions covering various scenes, objects, human gestures, and more. Building on our innovative model design, training recipe, and datasets, we develop BLIP3-o, a suite of state-of-the-art unified multimodal models. BLIP3-o achieves superior performance across most of the popular benchmarks spanning both image understanding and generation tasks. To facilitate future research, we fully open-source our models, including code, model weights, training scripts, and pretraining and instruction tuning datasets.