JanusFlow: Harmonizing Autoregression and Rectified Flow for Unified Multimodal Understanding and Generation

📄 arXiv: 2411.07975v2 📥 PDF

作者: Yiyang Ma, Xingchao Liu, Xiaokang Chen, Wen Liu, Chengyue Wu, Zhiyu Wu, Zizheng Pan, Zhenda Xie, Haowei Zhang, Xingkai yu, Liang Zhao, Yisong Wang, Jiaying Liu, Chong Ruan

分类: cs.CV, cs.AI, cs.CL

发布日期: 2024-11-12 (更新: 2025-03-24)

备注: Accepted by CVPR 2025

💡 一句话要点

JanusFlow：融合自回归与修正流，实现统一的多模态理解与生成

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 视觉-语言模型 自回归模型 修正流 图像理解 图像生成 统一模型 表示对齐

📋 核心要点

  1. 现有视觉-语言模型通常需要复杂的架构修改，且在理解和生成任务上表现不均衡。
  2. JanusFlow通过融合自回归语言模型和修正流，构建了一个极简且高效的统一框架。
  3. 实验表明，JanusFlow在图像理解和生成任务上均表现出色，优于现有统一模型。

📝 摘要（中文）

JanusFlow是一个强大的框架，它在单个模型中统一了图像理解和生成。JanusFlow引入了一个极简的架构，将自回归语言模型与修正流（一种生成建模中的先进方法）相结合。我们的关键发现表明，修正流可以直接在大型语言模型框架内进行训练，无需复杂的架构修改。为了进一步提高统一模型的性能，我们采用了两个关键策略：（i）解耦理解和生成编码器，以及（ii）在统一训练期间对齐它们的表示。大量实验表明，JanusFlow在各自领域中实现了与专用模型相当或更优越的性能，同时在标准基准测试中显著优于现有的统一方法。这项工作代表了朝着更高效和通用的视觉-语言模型迈出的一步。

🔬 方法详解

问题定义：现有视觉-语言模型通常是针对特定任务设计的，例如图像理解或图像生成，缺乏通用性和效率。统一模型通常需要复杂的架构修改，并且在不同任务上的性能表现不均衡。因此，如何设计一个既能进行图像理解又能进行图像生成，且性能优越的统一模型是一个挑战。

核心思路：JanusFlow的核心思路是将自回归语言模型与修正流相结合。自回归语言模型擅长序列建模和理解，而修正流是一种强大的生成模型。通过将两者融合，JanusFlow能够同时进行图像理解和生成。此外，JanusFlow还采用了两个关键策略：解耦理解和生成编码器，以及对齐它们的表示，以进一步提高模型性能。

技术框架：JanusFlow的整体架构包含一个自回归语言模型作为主干网络，并集成了修正流模块。模型首先使用理解编码器提取图像特征，然后将特征输入到自回归语言模型中进行理解。对于图像生成，模型使用生成编码器将噪声映射到图像空间，并使用修正流进行迭代优化。理解和生成编码器是解耦的，但它们的表示在训练过程中会对齐。

关键创新：JanusFlow的关键创新在于它证明了修正流可以直接在大型语言模型框架内进行训练，而无需复杂的架构修改。这简化了统一模型的构建过程，并提高了模型的效率。此外，解耦理解和生成编码器以及对齐它们的表示也是重要的创新点，它们有助于提高模型在不同任务上的性能。

关键设计：JanusFlow的关键设计包括：(1) 使用Transformer作为自回归语言模型的主干网络；(2) 使用扩散模型作为修正流的实现；(3) 设计了专门的损失函数来对齐理解和生成编码器的表示；(4) 采用了数据增强技术来提高模型的泛化能力。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

JanusFlow在图像理解和生成任务上均取得了显著的性能提升。在图像理解方面，JanusFlow在多个标准基准测试中优于现有的统一模型。在图像生成方面，JanusFlow实现了与专用生成模型相当的性能。此外，JanusFlow还显著提高了训练效率，降低了计算成本。

🎯 应用场景

JanusFlow具有广泛的应用前景，例如图像描述生成、图像编辑、视觉问答、以及跨模态检索等。该研究有助于推动通用人工智能的发展，并为构建更智能、更高效的视觉-语言模型奠定基础。未来，JanusFlow可以应用于自动驾驶、智能客服、医疗诊断等领域，具有重要的实际价值。

📄 摘要（原文）

We present JanusFlow, a powerful framework that unifies image understanding and generation in a single model. JanusFlow introduces a minimalist architecture that integrates autoregressive language models with rectified flow, a state-of-the-art method in generative modeling. Our key finding demonstrates that rectified flow can be straightforwardly trained within the large language model framework, eliminating the need for complex architectural modifications. To further improve the performance of our unified model, we adopt two key strategies: (i) decoupling the understanding and generation encoders, and (ii) aligning their representations during unified training. Extensive experiments show that JanusFlow achieves comparable or superior performance to specialized models in their respective domains, while significantly outperforming existing unified approaches across standard benchmarks. This work represents a step toward more efficient and versatile vision-language models.