KwaiMind Technical Report
作者: Junlong Wu, Zijun Li, Yuting Hu, Jia Sun, Pengcheng Wei, Yimin Zhou, Honglie Wang, Huaiqing Wang, Dewen Fan, Fei Zuo, Haixuan Gao, Lihui Peng, Tingxuan She, Yuqing Li, Boheng Zhang, Fan Yang, Wenwu Ou
分类: cs.CV
发布日期: 2026-09-22
备注: KwaiMind Team, Kuaishou Group
💡 一句话要点
提出KwaiMind以解决商业图像编辑中的产品一致性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像编辑 多模态扩散变换器 强化学习 电商应用 用户体验 CTR优化 视觉质量 奖励机制
📋 核心要点
- 现有的图像编辑方法在保持产品一致性和用户吸引力方面存在挑战，难以满足电商需求。
- KwaiMind通过多模态扩散变换器和强化学习，结合电商特定的奖励机制，优化图像编辑效果。
- 实验结果表明，KwaiMind在多个基准测试中表现优异，CTR提升显著，展示了其在商业应用中的潜力。
📝 摘要（中文）
商业图像编辑需要在保持产品身份、准确文本渲染和用户吸引力的同时，确保整体编辑质量。我们提出KwaiMind，一个结合通用能力与电商专业化的图像编辑系统。该系统基于多模态扩散变换器，经过持续的预训练和监督微调，随后进行偏好优化和在线强化学习。KwaiMind在ImgEdit、GEdit和Ecom-Bench视觉质量等多个评估中表现出色，显示了领域特定数据和奖励驱动对齐在商业图像编辑中的价值。
🔬 方法详解
问题定义：本论文旨在解决商业图像编辑中产品一致性和用户吸引力不足的问题。现有方法往往无法有效结合这些需求，导致编辑质量不高。
核心思路：KwaiMind通过引入多模态扩散变换器和强化学习，结合电商特定的奖励机制，优化图像编辑过程，以提高产品图像的吸引力和一致性。
技术框架：KwaiMind的整体架构包括数据引擎、预训练和微调阶段、偏好优化和在线强化学习。数据引擎维护约180万对高质量编辑样本，确保训练数据的丰富性。
关键创新：KwaiMind的主要创新在于其结合了通用视觉-语言判断和针对CTR、文本渲染及产品一致性的专业奖励机制，形成了独特的奖励驱动策略。
关键设计：在技术细节上，KwaiMind采用了在线强化学习和基于CTR的优化策略，显著提高了生成图像的质量和用户点击率。
🖼️ 关键图片
📊 实验亮点
KwaiMind在多个基准测试中表现优异，尤其是在Ecom-Bench中取得了最高的视觉质量评分。离线实验中，CTR引导优化使得生成图像的CTR超越原始产品图像的比例从12.16%提升至37.41%。在线A/B实验显示，基于CTR的产品主图选择实现了约2.44%的实际CTR相对提升。
🎯 应用场景
KwaiMind的研究成果在电商平台的图像编辑中具有广泛的应用潜力，能够提升产品图像的质量和用户体验。未来，该系统可扩展至其他领域的图像处理任务，推动智能图像编辑技术的发展。
📄 摘要（原文）
Commercial image editing requires product identity preservation, accurate text rendering, and user appeal alongside general editing quality. We present KwaiMind, an image editing system combining general capabilities with e-commerce specialization. An agent-based data engine maintains approximately 1.8 million high-quality editing pairs. Built on a multimodal diffusion transformer, KwaiMind undergoes continued pre-training and supervised fine-tuning, followed by preference optimization and online reinforcement learning. A general-purpose vision-language judge and specialized rewards for click-through rate (CTR), text rendering, and product consistency guide specialized policies, which are consolidated through on-policy distillation. We introduce Ecom-Bench, covering 11 commercial editing tasks with task-specific visual evaluation and CTR-based ranking. KwaiMind achieves the strongest overall scores among evaluated open-source editors on ImgEdit, GEdit, both language splits of REDEdit, and Ecom-Bench visual quality, and the highest aggregate CTR ranking score among compared systems. Offline, CTR-guided optimization increases the proportion of generated images whose predicted CTR exceeds that of the original product image from 12.16% to 37.41%. In an online A/B experiment, CTR-based selection of product main images yields an approximately 2.44% relative increase in actual CTR. These results demonstrate the value of domain-specific data and reward-driven alignment for commercial image editing.