Fine-Grained Customized Fashion Design with Image-into-Prompt benchmark and dataset from LMM

📄 arXiv: 2509.09324v1 📥 PDF

作者: Hui Li, Yi You, Qiqi Chen, Bingfeng Zhang, George Q. Huang

分类: cs.CV

发布日期: 2025-09-11

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于LMM的图像到提示微调服装设计框架，解决文本描述不确定性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 服装设计 大型多模态模型 图像到提示 个性化定制 生成式AI

📋 核心要点

  1. 现有服装设计AI模型在细粒度定制方面存在不足，用户难以用精确的文本描述实现理想效果。
  2. 提出BUG工作流程，利用LMM和图像到提示技术，通过聊天交互实现服装设计的自动创建和微调。
  3. 构建FashionEdit数据集，模拟真实服装设计流程，并从多个维度验证了所提模型的有效性。

📝 摘要（中文）

生成式AI正在改变工业界的复杂工作流程，其中大型多模态模型（LMM）赋能了服装行业的设计。目前的AI模型能够轻松地将头脑风暴转化为精美的设计，但由于终端用户缺乏专业的背景知识，细粒度的定制仍然受到文本不确定性的影响。因此，我们提出了一种名为“更好理解生成”（BUG）的工作流程，利用LMM通过图像到提示的聊天方式自动创建和微调服装设计。我们的框架释放了用户超越文字的创造潜力，并降低了服装设计/编辑的门槛，无需进一步的人工干预。为了证明我们模型的有效性，我们提出了一个新的FashionEdit数据集，该数据集模拟了真实的服装设计工作流程，并从生成相似性、用户满意度和质量等方面进行了评估。代码和数据集可在https://github.com/detectiveli/FashionEdit获取。

🔬 方法详解

问题定义：现有服装设计AI模型在进行细粒度定制时，面临着用户文本描述不确定性的挑战。用户往往缺乏专业的服装设计知识，难以用精确的文本描述来表达其设计意图，导致生成结果与用户期望存在偏差。现有方法难以有效解决这一问题，限制了用户在服装设计领域的创造力。

核心思路：论文的核心思路是利用大型多模态模型（LMM）的强大能力，结合图像到提示（Image-into-Prompt）技术，构建一个交互式的服装设计流程。用户可以通过上传图像并与LMM进行聊天，以更直观、更自然的方式表达其设计意图。LMM能够理解用户的图像输入和文本描述，并生成相应的服装设计，从而降低了服装设计的门槛。

技术框架：论文提出的Better Understanding Generation (BUG)工作流程主要包含以下几个阶段：1) 用户上传参考图像；2) LMM根据图像生成初始设计方案和提示词；3) 用户与LMM进行聊天交互，通过文本或图像进一步细化设计；4) LMM根据用户反馈更新设计，并生成最终的服装设计。整个流程无需人工干预，实现了服装设计的自动化和个性化。

关键创新：论文的关键创新在于将图像到提示技术与LMM相结合，构建了一个交互式的服装设计流程。这种方法允许用户以更直观的方式表达其设计意图，避免了文本描述的不确定性。此外，论文还提出了FashionEdit数据集，为服装设计AI模型的研究提供了新的benchmark。

关键设计：论文中LMM的具体选择和训练细节未知。FashionEdit数据集的构建方式，包括图像来源、标注信息等，也需要进一步了解。损失函数和网络结构等技术细节在论文中未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出了FashionEdit数据集，并从生成相似性、用户满意度和质量等方面评估了所提模型的性能。具体性能数据未知，但论文强调该模型能够有效降低服装设计的门槛，并释放用户的创造潜力。与现有基线方法的具体对比结果未知。

🎯 应用场景

该研究成果可应用于服装行业的个性化定制、虚拟试衣、电商平台的设计辅助工具等领域。通过降低服装设计的门槛，激发用户的创造力，并提高服装设计的效率和质量。未来，该技术有望进一步扩展到其他设计领域，如室内设计、产品设计等。

📄 摘要（原文）

Generative AI evolves the execution of complex workflows in industry, where the large multimodal model empowers fashion design in the garment industry. Current generation AI models magically transform brainstorming into fancy designs easily, but the fine-grained customization still suffers from text uncertainty without professional background knowledge from end-users. Thus, we propose the Better Understanding Generation (BUG) workflow with LMM to automatically create and fine-grain customize the cloth designs from chat with image-into-prompt. Our framework unleashes users' creative potential beyond words and also lowers the barriers of clothing design/editing without further human involvement. To prove the effectiveness of our model, we propose a new FashionEdit dataset that simulates the real-world clothing design workflow, evaluated from generation similarity, user satisfaction, and quality. The code and dataset: https://github.com/detectiveli/FashionEdit.