UniModel: A Visual-Only Framework for Unified Multimodal Understanding and Generation
作者: Chi Zhang, Jiepeng Wang, Youming Wang, Yuanzhi Liang, Xiaoyan Yang, Zuoxin Li, Haibin Huang, Xuelong Li
分类: cs.CV
发布日期: 2025-11-21
💡 一句话要点
UniModel：提出一种视觉统一框架，用于多模态理解与生成任务
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 视觉理解 视觉生成 扩散模型 Transformer
📋 核心要点
- 现有方法在处理多模态任务时，通常面临模态差异带来的挑战，难以实现统一建模。
- UniModel将文本和图像都映射到共享的视觉空间，将多模态任务转化为像素到像素的转换问题。
- 实验结果表明，UniModel在文本到图像生成和图像到文本理解任务上表现出强大的跨模态对齐能力。
📝 摘要（中文）
本文提出UniModel，一个统一的生成模型，在单一的像素到像素扩散框架内同时支持视觉理解和视觉生成。目标是在模型、任务和表示三个维度上实现统一。在表示层面，通过将文本和图像映射到共享的视觉空间来消除模态差异：文本提示被渲染为干净画布上的绘制文本图像，所有输入和输出都被视为纯RGB像素。这产生了一种完全视觉原生的多模态学习公式。在任务层面，各种视觉-语言问题都被转化为这个视觉空间中的像素到像素转换。对于理解任务，模型接收RGB图像并生成视觉编码语义预测的绘制文本图像。对于生成任务，绘制文本图像作为视觉条件，引导逼真且语义对齐的图像合成。因此，图像描述和文本到图像生成成为同一底层视觉翻译过程的不同方向。在模型层面，实例化了一个单一的统一扩散Transformer，在像素空间中使用校正流进行训练。共享骨干网络联合学习自然图像和绘制文本图像之间的双向映射，并使用轻量级的任务嵌入来指定所需的方向。在文本到图像合成和图像到文本理解方面的实验表明了强大的跨模态对齐和涌现的可控性，例如循环一致的图像-描述-图像循环。初步探索表明，在单一视觉空间中统一模型、任务和表示是通用多模态智能的一个有希望的范例。
🔬 方法详解
问题定义：现有方法在处理多模态任务时，由于文本和图像的模态差异，通常需要复杂的模态对齐机制，导致模型复杂度和训练难度增加。此外，不同任务通常需要不同的模型结构，难以实现统一建模。因此，如何消除模态差异，实现多模态任务的统一建模是一个关键问题。
核心思路：UniModel的核心思路是将文本和图像都映射到共享的视觉空间，从而消除模态差异。具体来说，文本提示被渲染为绘制文本图像，所有输入和输出都被视为RGB像素。这样，多模态任务就被转化为视觉空间中的像素到像素转换问题，可以使用统一的模型进行处理。
技术框架：UniModel的整体架构是一个统一的扩散Transformer，在像素空间中使用校正流进行训练。该模型包含一个共享的骨干网络，用于学习自然图像和绘制文本图像之间的双向映射。此外，模型还使用轻量级的任务嵌入来指定所需的方向，例如文本到图像生成或图像到文本理解。
关键创新：UniModel最重要的技术创新点在于其完全视觉原生的多模态学习公式。通过将文本渲染为绘制文本图像，模型消除了模态差异，实现了多模态任务的统一建模。这种方法简化了模型结构，降低了训练难度，并提高了模型的泛化能力。
关键设计：UniModel的关键设计包括：1) 使用绘制文本图像作为文本表示，消除了模态差异；2) 使用统一的扩散Transformer作为模型骨干，实现了多模态任务的统一建模；3) 使用校正流进行训练，提高了模型的生成质量和稳定性；4) 使用轻量级的任务嵌入来指定所需的方向，实现了任务的灵活切换。
🖼️ 关键图片
📊 实验亮点
UniModel在文本到图像合成和图像到文本理解任务上表现出强大的跨模态对齐能力。实验结果表明，该模型能够生成逼真且语义对齐的图像，并能够准确地描述图像内容。此外，UniModel还展现出涌现的可控性，例如循环一致的图像-描述-图像循环。
🎯 应用场景
UniModel具有广泛的应用前景，例如图像描述生成、文本到图像生成、视觉问答、图像编辑等。该研究为通用多模态智能的发展提供了一种新的思路，有望推动人工智能在跨模态理解和生成方面的应用。
📄 摘要（原文）
We present UniModel, a unified generative model that jointly supports visual understanding and visual generation within a single pixel-to-pixel diffusion framework. Our goal is to achieve unification along three axes: the model, the tasks, and the representations. At the representation level, we eliminate modality discrepancies by mapping both text and images into a shared visual space: textual prompts are rendered as painted text images on a clean canvas, and all inputs and outputs are treated purely as RGB pixels. This yields a fully vision-native formulation of multimodal learning. At the task level, a broad range of vision-language problems are cast as pixel-to-pixel transformations in this visual space. For understanding tasks, the model takes an RGB image and produces a painted text image that visually encodes the semantic prediction. For generation tasks, painted text images serve as visual conditions that guide realistic and semantically aligned image synthesis. Captioning and text-to-image generation thus become different directions of the same underlying visual translation process. At the model level, we instantiate a single Unified Diffusion Transformer trained with rectified flow in pixel space. A shared backbone jointly learns bidirectional mappings between natural images and painted text images, with lightweight task embeddings to specify the desired direction. Experiments on text-to-image synthesis and image-to-text understanding demonstrate strong cross-modal alignment and emergent controllability such as cycle-consistent image-caption-image loops. Our initial exploration suggests that unifying model, tasks, and representations in a single visual space is a promising paradigm for general-purpose multimodal intelligence.