Uni-Edit: Intelligent Editing Is A General Task For Unified Model Tuning

📄 arXiv: 2605.21487v1 📥 PDF

作者: Dian Zheng, Manyuan Zhang, Hongyu Li, Hongbo Liu, Kai Zou, Kaituo Feng, Hongsheng Li

分类: cs.CV

发布日期: 2026-05-20

备注: Project Page: https://zhengdian1.github.io/Uni-Edit-proj/ Code: https://github.com/zhengdian1/Uni-Edit

💡 一句话要点

提出Uni-Edit：一种用于统一模型调优的智能图像编辑通用任务

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像编辑 多模态学习 统一模型 数据合成 视觉问答

📋 核心要点

  1. 现有统一多模态模型依赖混合多任务训练，存在任务冲突，需要复杂流程和数据平衡，导致性能权衡。
  2. Uni-Edit将图像编辑作为通用任务，利用其内在的视觉理解和生成需求，通过单一任务提升多种能力。
  3. 论文提出自动化数据合成流程，将VQA数据转化为复杂的编辑指令，生成Uni-Edit-148k数据集，实验证明有效。

📝 摘要（中文）

目前，增强统一多模态模型(UMMs)的图像理解、生成和编辑能力主要依赖于混合多任务训练。由于固有的任务冲突，这种策略需要复杂的多阶段流程、大量的数据混合和平衡技巧，最终导致性能上的权衡，而不是真正的相互促进。为了打破这种模式，我们提出了Uni-Edit，一种智能图像编辑任务，作为UMM调优的第一个通用任务。与复杂混合流程不同，Uni-Edit仅使用一个任务、一个训练阶段和一个数据集，就能同时提高所有三种能力。具体来说，我们首先将图像编辑确定为一种内在理想的通用任务，因为它自然需要视觉理解和生成。然而，现有的编辑数据依赖于简单的指令，严重低估了模型的理解能力。为了解决这个问题，我们引入了第一个用于智能编辑的自动化和可扩展的数据合成流程，将多样化的VQA数据转换为具有嵌入式问题和嵌套逻辑的复杂而有效的编辑指令。这产生了Uni-Edit-148k，将多样化的推理密集型指令与高质量的编辑图像配对。在BAGEL和Janus-Pro上的大量实验表明，仅在Uni-Edit上进行调优即可实现所有三种能力的全面增强，而无需任何辅助操作。

🔬 方法详解

问题定义：现有统一多模态模型（UMMs）在图像理解、生成和编辑方面依赖于混合多任务训练。这种方法的主要痛点在于不同任务之间存在固有的冲突，导致训练过程复杂，需要精细的数据混合和平衡策略，最终往往只能在不同能力之间进行性能上的权衡，而无法实现真正的相互促进。现有编辑数据集依赖简单指令，无法充分利用模型的理解能力。

核心思路：论文的核心思路是将智能图像编辑定义为一个通用任务，并设计相应的训练方法，使得模型能够通过学习编辑任务，同时提升其图像理解、生成和编辑能力。图像编辑本身需要模型具备视觉理解能力（理解指令和图像内容）和生成能力（生成编辑后的图像），因此是一个理想的通用任务。为了充分利用模型的理解能力，论文提出了自动化的数据合成流程，生成包含复杂推理逻辑的编辑指令。

技术框架：Uni-Edit的整体框架包含两个主要部分：一是智能编辑任务的定义，二是大规模智能编辑数据的合成流程。数据合成流程将VQA数据转化为复杂的编辑指令，并生成对应的编辑图像，构建Uni-Edit-148k数据集。模型训练阶段，UMM模型仅在Uni-Edit-148k数据集上进行训练，目标是根据给定的图像和编辑指令，生成编辑后的图像。

关键创新：论文最重要的技术创新点在于将智能图像编辑定义为一个通用任务，并提出了自动化的数据合成流程，用于生成包含复杂推理逻辑的编辑指令。与以往依赖简单指令的编辑任务不同，Uni-Edit能够充分利用模型的理解能力，从而实现更有效的模型调优。

关键设计：数据合成流程的关键在于如何将VQA数据转化为有效的编辑指令。论文设计了一系列规则和模板，用于将VQA问题转化为包含嵌入式问题和嵌套逻辑的复杂指令。例如，指令可能包含“如果图像中存在X，则将Y替换为Z”这样的条件逻辑。损失函数采用标准的图像生成损失函数，例如L1或L2损失，用于衡量生成图像与目标图像之间的差异。具体的网络结构沿用现有的UMM模型，例如BAGEL或Janus-Pro，无需进行额外的网络结构设计。

📊 实验亮点

实验结果表明，仅在Uni-Edit-148k数据集上进行训练，就可以显著提升BAGEL和Janus-Pro模型在图像理解、生成和编辑方面的性能，而无需任何辅助操作或额外的数据。具体性能提升数据未知，但论文强调了在所有三个能力上的全面增强。

🎯 应用场景

Uni-Edit具有广泛的应用前景，可用于图像编辑、图像生成、视觉问答等领域。通过在Uni-Edit数据集上进行训练，可以提升多模态模型在各种视觉任务中的性能。该方法还可以应用于机器人视觉，使机器人能够根据复杂的指令进行图像编辑和场景理解。此外，该研究为构建更通用、更智能的多模态模型提供了新的思路。

📄 摘要（原文）

Currently, enhancing Unified Multimodal Models (UMMs) with image understanding, generation, and editing capabilities mainly relies on mixed multi-task training. Due to inherent task conflicts, such strategy requires complex multi-stage pipelines, massive data mixing, and balancing tricks, merely resulting in a performance trade-off rather than true mutual reinforcement. To break this paradigm, we propose Uni-Edit, an intelligent image editing task that serves as the first general task for UMM tuning. Unlike complex mixed pipelines, Uni-Edit improves performance across all three abilities at once using only one task, one training stage, and one dataset. Specifically, we first identify image editing as an inherently ideal general task, as it naturally demands both visual understanding and generation. However, existing editing data relies on simplistic instructions that severely underutilize a model's understanding capacity. To address this, we introduce the first automated and scalable data synthesis pipeline for intelligent editing, transforming diverse VQA data into complex and effective editing instructions with embedded questions and nested logic. This yields Uni-Edit-148k, pairing diverse reasoning-intensive instructions with high-quality edited images. Extensive experiments on BAGEL and Janus-Pro demonstrate that tuning solely on Uni-Edit achieves comprehensive enhancements across all three capabilities without any auxiliary operations.