Free Lunch for Unified Multimodal Models: Enhancing Generation via Reflective Rectification with Inherent Understanding

📄 arXiv: 2604.13540v1 📥 PDF

作者: Yibo Jiang, Tao Wu, Rui Jiang, Yehao Lu, Chaoxiang Cai, Zequn Qin, Xi Li

分类: cs.CV, cs.AI

发布日期: 2026-04-15

💡 一句话要点

提出UniRect-CoT框架，利用统一多模态模型内在理解能力提升生成质量。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 统一多模态模型 生成模型 链式思考 自监督学习 视觉推理

📋 核心要点

  1. 统一多模态模型存在理解能力远超生成能力的不匹配问题，内部知识在生成时未被充分利用。
  2. UniRect-CoT框架借鉴人类“边思考边绘画”的模式，通过反思和修正中间结果来激活模型内部知识。
  3. 实验表明，UniRect-CoT能有效集成到现有UMM中，显著提升多种复杂任务的生成质量。

📝 摘要（中文）

统一多模态模型(UMMs)旨在将视觉理解和生成集成到一个结构中。然而，这些模型表现出显著的能力不匹配，其理解能力明显优于生成能力。这种不匹配表明，模型丰富的内部知识在理解任务中有效，但在生成过程中仍然未被充分激活。为了解决这个问题，我们从人类“边思考边绘画”的范式中汲取灵感，人类不断反思以激活他们的知识并纠正中间结果。在本文中，我们提出UniRect-CoT，一个免训练的统一修正链式思考框架。我们的方法解锁了UMM强大内在理解中隐藏的“免费午餐”，以持续反思，激活其内部知识并在生成过程中纠正中间结果。我们将UMM中的扩散去噪过程视为一种内在的视觉推理过程，并将中间结果与模型理解的目标指令对齐，作为自我监督信号来纠正UMM生成。大量实验表明，UniRect-CoT可以轻松集成到现有的UMM中，显著提高各种复杂任务的生成质量。

🔬 方法详解

问题定义：统一多模态模型(UMMs)在视觉理解方面表现出色，但在生成任务中却存在能力不足的问题。现有的UMM虽然拥有丰富的内部知识，但这些知识在生成过程中未能被有效激活，导致生成质量受限。因此，如何充分利用UMM的内在理解能力来提升生成质量是一个关键问题。

核心思路：该论文的核心思路是借鉴人类“边思考边绘画”的认知模式，通过引入反思和修正机制，在生成过程中持续激活UMM的内部知识。具体来说，模型在生成中间结果后，会对其进行反思和评估，并根据评估结果对中间结果进行修正，从而逐步提升生成质量。这种迭代式的反思和修正过程类似于链式思考(Chain-of-Thought)，因此该方法被称为UniRect-CoT。

技术框架：UniRect-CoT框架主要包含以下几个关键步骤：1) 利用UMM进行初步的生成；2) 将扩散模型的去噪过程视为内在的视觉推理过程；3) 将中间结果与模型理解的目标指令对齐，形成自监督信号；4) 利用自监督信号对中间结果进行修正；5) 重复步骤2-4，直到生成最终结果。整个过程无需额外的训练，可以即插即用。

关键创新：该论文的关键创新在于提出了一个免训练的统一修正链式思考框架(UniRect-CoT)，该框架能够有效激活UMM的内在理解能力，从而提升生成质量。与现有方法相比，UniRect-CoT不需要额外的训练数据或模型参数，而是通过在生成过程中引入反思和修正机制，充分利用了UMM自身的能力。

关键设计：UniRect-CoT的关键设计在于将扩散模型的去噪过程与视觉推理过程对齐，并利用目标指令作为自监督信号来指导中间结果的修正。具体来说，模型会计算中间结果与目标指令之间的相似度，并根据相似度调整中间结果，使其更符合目标指令的要求。此外，该方法还采用了链式思考(Chain-of-Thought)的模式，通过迭代式的反思和修正，逐步提升生成质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

UniRect-CoT框架能够显著提升现有UMM的生成质量，而无需额外的训练。实验结果表明，该方法在多个复杂任务上均取得了显著的性能提升，证明了其有效性和通用性。具体的性能数据和对比基线在论文中进行了详细展示。

🎯 应用场景

该研究成果可广泛应用于各种需要高质量多模态内容生成的场景，例如图像描述生成、视觉问答、文本到图像生成等。通过提升生成质量，可以改善人机交互体验，提高内容创作效率，并为相关应用带来更广阔的发展空间。未来，该方法有望进一步扩展到视频生成、3D内容生成等领域。

📄 摘要（原文）

Unified Multimodal Models (UMMs) aim to integrate visual understanding and generation within a single structure. However, these models exhibit a notable capability mismatch, where their understanding capability significantly outperforms their generation. This mismatch indicates that the model's rich internal knowledge, while effective for understanding tasks, remains underactivated during generation. To address this, we draw inspiration from the human Thinking-While-Drawing'' paradigm, where humans continuously reflect to activate their knowledge and rectify intermediate results. In this paper, we propose UniRect-CoT, a training-free unified rectification chain-of-thought framework. Our approach unlocks thefree lunch'' hidden in the UMM's powerful inherent understanding to continuously reflect, activating its internal knowledge and rectifying intermediate results during generation.We regard the diffusion denoising process in UMMs as an intrinsic visual reasoning process and align the intermediate results with the target instruction understood by the model, serving as a self-supervisory signal to rectify UMM generation.Extensive experiments demonstrate that UniRect-CoT can be easily integrated into existing UMMs, significantly enhancing generation quality across diverse complex tasks.