SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding

📄 arXiv: 2412.09604v1 📥 PDF

作者: Hao Li, Changyao Tian, Jie Shao, Xizhou Zhu, Zhaokai Wang, Jinguo Zhu, Wenhan Dou, Xiaogang Wang, Hongsheng Li, Lewei Lu, Jifeng Dai

分类: cs.CV

发布日期: 2024-12-12

💡 一句话要点

SynerGen-VL：利用视觉专家和Token Folding实现协同图像理解与生成

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 图像理解 图像生成 Token Folding 视觉专家 渐进式对齐 无编码器架构 统一模型

📋 核心要点

  1. 现有统一多模态大语言模型在架构或训练流程上设计复杂，导致训练和扩展困难。
  2. SynerGen-VL提出token folding机制和视觉专家渐进式对齐预训练策略，简化训练流程并支持高分辨率图像理解。
  3. 实验表明，SynerGen-VL在参数量相当或更小的情况下，性能超越现有无编码器统一MLLM。

📝 摘要（中文）

大型语言模型（LLMs）的卓越成功已扩展到多模态领域，在图像理解和生成方面取得了出色的性能。最近，开发统一的多模态大型语言模型（MLLMs）以整合这些能力的努力显示出可喜的成果。然而，现有方法通常涉及模型架构或训练流程中的复杂设计，增加了模型训练和扩展的难度。本文提出了SynerGen-VL，一个简单而强大的无编码器MLLM，能够同时进行图像理解和生成。为了解决现有无编码器统一MLLM中发现的挑战，我们引入了token folding机制和基于视觉专家的渐进式对齐预训练策略，有效地支持高分辨率图像理解，同时降低了训练复杂度。在具有统一的下一个token预测目标的大规模混合图像-文本数据上进行训练后，SynerGen-VL在参数大小相当或更小的情况下，实现了或超过了现有无编码器统一MLLM的性能，并缩小了与特定任务的最先进模型之间的差距，突出了未来统一MLLM的有希望的路径。我们的代码和模型将被发布。

🔬 方法详解

问题定义：现有统一多模态大语言模型（MLLMs）在图像理解和生成任务中面临训练复杂和难以扩展的问题。特别是，无编码器架构的MLLM在处理高分辨率图像时，计算成本高昂，且训练不稳定。现有方法往往需要复杂的架构设计或训练流程，增加了模型训练和部署的难度。

核心思路：SynerGen-VL的核心思路是设计一个简单而有效的无编码器MLLM，通过引入token folding机制和视觉专家渐进式对齐预训练策略，降低训练复杂度，同时提升高分辨率图像理解能力。Token folding旨在减少图像token的数量，从而降低计算成本。视觉专家渐进式对齐预训练策略则通过逐步对齐视觉特征和语言特征，提高模型的理解能力。

技术框架：SynerGen-VL采用无编码器的架构，直接将图像token输入到大语言模型中。其主要流程包括：1) 图像token化：将输入图像分割成token序列。2) Token Folding：通过token folding机制减少token数量。3) 视觉专家渐进式对齐预训练：利用视觉专家网络提取图像特征，并逐步与语言模型对齐。4) 统一的下一个token预测：使用统一的下一个token预测目标训练模型，使其同时具备图像理解和生成能力。

关键创新：SynerGen-VL的关键创新在于token folding机制和视觉专家渐进式对齐预训练策略。Token folding通过合并相邻的token，有效减少了token数量，降低了计算成本，并保留了图像的关键信息。视觉专家渐进式对齐预训练策略则通过逐步对齐视觉特征和语言特征，提高了模型的理解能力，避免了直接从头训练的困难。

关键设计：Token folding的具体实现方式未知，但推测可能采用pooling或卷积等操作。视觉专家网络可能采用预训练的视觉模型，如CLIP或ViT。渐进式对齐预训练策略可能采用对比学习或知识蒸馏等方法，逐步将视觉特征融入到语言模型中。损失函数采用标准的下一个token预测损失，同时可能加入对比损失或蒸馏损失，以促进视觉特征和语言特征的对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SynerGen-VL在图像理解和生成任务上取得了显著的性能提升。在参数量相当或更小的情况下，SynerGen-VL的性能超越了现有的无编码器统一MLLM，并缩小了与特定任务的最先进模型之间的差距。这些结果表明，SynerGen-VL在统一多模态学习方面具有巨大的潜力。

🎯 应用场景

SynerGen-VL具有广泛的应用前景，包括图像描述生成、视觉问答、图像编辑、多模态对话等。该模型可以应用于智能客服、自动驾驶、医疗诊断等领域，提升人机交互的智能化水平。未来，该研究可以进一步扩展到视频理解和生成，为更复杂的应用场景提供支持。

📄 摘要（原文）

The remarkable success of Large Language Models (LLMs) has extended to the multimodal domain, achieving outstanding performance in image understanding and generation. Recent efforts to develop unified Multimodal Large Language Models (MLLMs) that integrate these capabilities have shown promising results. However, existing approaches often involve complex designs in model architecture or training pipeline, increasing the difficulty of model training and scaling. In this paper, we propose SynerGen-VL, a simple yet powerful encoder-free MLLM capable of both image understanding and generation. To address challenges identified in existing encoder-free unified MLLMs, we introduce the token folding mechanism and the vision-expert-based progressive alignment pretraining strategy, which effectively support high-resolution image understanding while reducing training complexity. After being trained on large-scale mixed image-text data with a unified next-token prediction objective, SynerGen-VL achieves or surpasses the performance of existing encoder-free unified MLLMs with comparable or smaller parameter sizes, and narrows the gap with task-specific state-of-the-art models, highlighting a promising path toward future unified MLLMs. Our code and models shall be released.