WeAgent-MMGenEdit: A Full-Stack Recipe for Multimodal Agentic Image Generation and Editing

📄 arXiv: 2609.05171v1 📥 PDF

作者: Hui Zhang, Zongkai Liu, Liqiang Niu, Juntao Liu, Han Li, Zhen Cao, Wenchao Chen, Chengduo Zhao, Fandong Meng

分类: cs.CV

发布日期: 2026-09-04

💡 一句话要点

提出WeAgent-MMGenEdit以解决多模态图像生成与编辑中的知识依赖问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态生成 图像编辑 知识依赖 代理策略 数据构建管道 视觉验证 后训练方法

📋 核心要点

  1. 现有的图像生成与编辑方法在处理需要外部知识的提示时表现不佳，存在视觉验证不足等问题。
  2. WeAgent-MMGenEdit通过引入多模态运行环境和可扩展的数据构建管道，提升了生成与编辑的可靠性。
  3. 实验结果表明，WeAgent-MMGenEdit的30B总参数模型在性能上超越了同类模型，接近1T参数模型的表现。

📝 摘要（中文）

图像生成与编辑模型虽然快速发展，但在需要外部世界知识的提示下仍然不可靠。现有的生成与编辑方法通过检索工具缓解了这一限制，但在视觉验证不足、策略模型过载和检索文本与视觉证据整合弱等方面仍存在问题。为此，本文提出WeAgent-MMGenEdit，一个完整的解决方案，包括多模态运行环境、可扩展的数据构建管道、全面的基准测试和针对代理策略及图像后端的后训练方法。通过这些创新，WeAgent-MMGenEdit显著提升了模型的性能。

🔬 方法详解

问题定义：本文旨在解决现有图像生成与编辑模型在处理外部知识时的可靠性不足，尤其是在视觉验证和信息整合方面的挑战。

核心思路：WeAgent-MMGenEdit通过构建一个多模态运行环境和数据构建管道，整合检索的多模态证据，从而提升生成与编辑的准确性和一致性。

技术框架：整体架构包括WeAgent-Harness多模态运行环境、可扩展的提示合成与代理轨迹收集管道，以及WeBench-MMGenEdit双语基准测试，确保了系统的全面性和可验证性。

关键创新：最重要的创新在于引入了持久证据管理和专用验证工具，使得检索的多模态证据能够有效整合，形成密集载体，显著提升了生成与编辑的效果。

关键设计：在设计上，采用了三层可验证检查表来确保数据质量，并通过后训练方法结合SFT与RL优化代理策略和图像后端，提升了整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，WeAgent-MMGenEdit的30B总参数模型在性能上超越了同类模型，接近1T参数模型的表现，具体提升幅度达到显著水平，验证了其在知识密集型图像生成与多图像编辑任务中的有效性。

🎯 应用场景

WeAgent-MMGenEdit在图像生成与编辑领域具有广泛的应用潜力，尤其是在需要结合外部知识的场景，如广告创作、虚拟现实和游戏开发等。其创新的多模态整合方法能够为这些领域提供更高质量的视觉内容生成与编辑，未来可能推动相关技术的进一步发展与应用。

📄 摘要（原文）

Image generation and editing models have advanced rapidly, yet remain unreliable when prompts require external world knowledge. Bounded and long-tail parametric knowledge prevents direct or reason-then-generate approaches from recovering the required facts and visual appearances. Existing agentic generation and editing methods mitigate this limitation with retrieval tools, yet remain constrained by insufficient visual verification, overloaded policy models, and weak integration of retrieved textual and visual evidence. To address these limitations, we present WeAgent-MMGenEdit, a full-stack recipe including a multimodal harness, a scalable data construction pipeline, a comprehensive benchmark, and post-training methods for the agent policy and image backend. We first introduce WeAgent-Harness, a multimodal runtime with persistent evidence management and dedicated verification and integration tools that organize retrieved multimodal evidence into a dense carrier. Upon this, we develop a scalable pipeline for prompt synthesis and agentic trajectory collection, yielding 23K supervised trajectories and 14.7K RL tasks with three-layer verifiable checklists. We further introduce WeBench-MMGenEdit, a bilingual benchmark covering both knowledge-intensive image generation and multi-image editing. Finally, a two-sided post-training recipe based on SFT and RL improves the agent policy and image backend. Together, WeAgent-MMGenEdit enables a 30B-total/3B-active policy to outperform similarly sized policy models and approach the performance of a 1T-parameter agent.