Step1X-Edit: A Practical Framework for General Image Editing

📄 arXiv: 2504.17761v5 📥 PDF

作者: Shiyu Liu, Yucheng Han, Peng Xing, Fukun Yin, Rui Wang, Wei Cheng, Jiaqi Liao, Yingming Wang, Honghao Fu, Chunrui Han, Guopeng Li, Yuang Peng, Quan Sun, Jingwei Wu, Yan Cai, Zheng Ge, Ranchen Ming, Lei Xia, Xianfang Zeng, Yibo Zhu, Binxing Jiao, Xiangyu Zhang, Gang Yu, Daxin Jiang

分类: cs.CV

发布日期: 2025-04-24 (更新: 2025-07-31)

备注: code: https://github.com/stepfun-ai/Step1X-Edit

💡 一句话要点

Step1X-Edit：一种通用的实用图像编辑框架，性能媲美GPT-4o和Gemini2 Flash。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像编辑 多模态LLM 扩散模型 条件生成 GEdit-Bench

📋 核心要点

  1. 现有开源图像编辑模型与GPT-4o、Gemini2 Flash等闭源模型存在显著性能差距，限制了实际应用。
  2. Step1X-Edit利用多模态LLM处理图像和指令，提取潜在嵌入，结合扩散解码器生成编辑后的图像。
  3. GEdit-Bench评估显示，Step1X-Edit大幅超越现有开源模型，性能接近领先的闭源模型。

📝 摘要（中文）

近年来，图像编辑模型发展迅速。GPT-4o和Gemini2 Flash等先进的多模态模型展现了极具前景的图像编辑能力，能够满足绝大多数用户驱动的编辑需求。然而，开源算法与这些闭源模型之间仍然存在巨大差距。因此，本文发布了一种最先进的图像编辑模型Step1X-Edit，其性能可与GPT-4o和Gemini2 Flash等闭源模型相媲美。具体来说，我们采用多模态LLM来处理参考图像和用户的编辑指令，提取潜在嵌入，并将其与扩散图像解码器集成以获得目标图像。为了训练模型，我们构建了一个数据生成流程来生成高质量的数据集。为了评估，我们开发了GEdit-Bench，这是一个基于真实用户指令的新型基准。在GEdit-Bench上的实验结果表明，Step1X-Edit显著优于现有的开源基线，并接近领先的专有模型的性能，从而为图像编辑领域做出了重大贡献。

🔬 方法详解

问题定义：论文旨在解决开源图像编辑模型性能不足的问题，特别是与闭源模型（如GPT-4o和Gemini2 Flash）相比存在的显著差距。现有开源模型难以满足用户复杂的编辑需求，限制了图像编辑技术的普及和应用。

核心思路：论文的核心思路是利用多模态大型语言模型（LLM）的强大理解和生成能力，将图像编辑任务转化为一个条件生成问题。通过LLM理解用户的编辑指令和参考图像，提取关键特征，并指导扩散模型生成目标图像。这种方法旨在弥合开源模型与闭源模型之间的性能差距。

技术框架：Step1X-Edit的整体框架包含以下几个主要模块：1) 多模态LLM：用于处理参考图像和用户编辑指令，提取图像和文本的联合表示。2) 潜在嵌入提取：从LLM的输出中提取潜在嵌入，该嵌入包含了图像编辑的关键信息。3) 扩散图像解码器：利用提取的潜在嵌入作为条件，指导扩散模型生成编辑后的图像。4) 数据生成流程：用于生成高质量的训练数据集，包含图像、编辑指令和目标图像。

关键创新：该论文的关键创新在于将多模态LLM与扩散模型相结合，用于图像编辑任务。通过LLM理解复杂的编辑指令，并将其转化为扩散模型可以理解的条件信息，从而实现高质量的图像编辑。此外，论文还提出了一个数据生成流程，用于生成高质量的训练数据，进一步提升了模型的性能。

关键设计：论文中没有明确说明关键的参数设置、损失函数和网络结构等技术细节。但是，可以推断出，LLM的选择和训练、潜在嵌入的提取方式、扩散模型的架构和训练策略，以及数据生成流程的设计，都会对最终的编辑效果产生重要影响。具体的技术细节可能需要参考论文的补充材料或代码。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Step1X-Edit在GEdit-Bench基准测试中表现出色，显著优于现有的开源图像编辑模型。虽然论文中没有给出具体的性能数据和提升幅度，但强调了Step1X-Edit的性能接近领先的闭源模型，如GPT-4o和Gemini2 Flash，这表明该模型在图像编辑领域取得了重大突破。

🎯 应用场景

Step1X-Edit具有广泛的应用前景，包括图像修复、风格迁移、对象替换、场景编辑等。它可以应用于创意设计、社交媒体、电商平台等领域，帮助用户轻松实现各种图像编辑需求。该研究的进展有望推动图像编辑技术的普及和发展，为用户提供更便捷、更强大的图像编辑工具。

📄 摘要（原文）

In recent years, image editing models have witnessed remarkable and rapid development. The recent unveiling of cutting-edge multimodal models such as GPT-4o and Gemini2 Flash has introduced highly promising image editing capabilities. These models demonstrate an impressive aptitude for fulfilling a vast majority of user-driven editing requirements, marking a significant advancement in the field of image manipulation. However, there is still a large gap between the open-source algorithm with these closed-source models. Thus, in this paper, we aim to release a state-of-the-art image editing model, called Step1X-Edit, which can provide comparable performance against the closed-source models like GPT-4o and Gemini2 Flash. More specifically, we adopt the Multimodal LLM to process the reference image and the user's editing instruction. A latent embedding has been extracted and integrated with a diffusion image decoder to obtain the target image. To train the model, we build a data generation pipeline to produce a high-quality dataset. For evaluation, we develop the GEdit-Bench, a novel benchmark rooted in real-world user instructions. Experimental results on GEdit-Bench demonstrate that Step1X-Edit outperforms existing open-source baselines by a substantial margin and approaches the performance of leading proprietary models, thereby making significant contributions to the field of image editing.