ChatGarment: Garment Estimation, Generation and Editing via Large Language Models

📄 arXiv: 2412.17811v3 📥 PDF

作者: Siyuan Bian, Chenghao Xu, Yuliang Xiu, Artur Grigorev, Zhen Liu, Cewu Lu, Michael J. Black, Yao Feng

分类: cs.CV

发布日期: 2024-12-23 (更新: 2025-04-03)

备注: CVPR 2025

💡 一句话要点

ChatGarment：利用大型语言模型实现服装的估计、生成和编辑

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 服装生成 服装编辑 视觉语言模型 3D服装 参数化建模

📋 核心要点

  1. 现有方法在真实场景下的服装估计、生成和编辑方面存在不足，缺乏交互式编辑能力，难以满足实际应用需求。
  2. ChatGarment 通过微调视觉语言模型，使其能够直接生成包含服装描述和数值属性的 JSON 文件，从而实现服装的自动生成和编辑。
  3. 该方法通过构建大规模数据集和改进编程模型 GarmentCode，实现了从多模态输入准确重建、生成和编辑服装的能力。

📝 摘要（中文）

ChatGarment 是一种新颖的方法，它利用大型视觉语言模型 (VLM) 自动执行从图像或文本描述中估计、生成和编辑 3D 服装的任务。与之前在真实场景中表现不佳或缺乏交互式编辑能力的方法不同，ChatGarment 可以在交互式对话中，从实际图像或草图估计缝纫图案，从文本描述生成缝纫图案，并根据用户指令编辑服装。这些缝纫图案随后可以被覆盖到 3D 人体模型上并进行动画处理。这通过微调 VLM 以直接生成 JSON 文件来实现，该文件既包含服装类型和样式的文本描述，也包含连续的数值属性。然后，该 JSON 文件用于通过编程参数化模型创建缝纫图案。为了支持这一点，我们通过扩展其服装类型覆盖范围并简化其结构以实现高效的 VLM 微调，从而改进了现有的编程模型 GarmentCode。此外，我们通过自动数据管道构建了一个大规模的图像到缝纫图案和文本到缝纫图案的配对数据集。广泛的评估表明 ChatGarment 能够准确地从多模态输入重建、生成和编辑服装，突出了其简化时尚和游戏应用程序工作流程的潜力。

🔬 方法详解

问题定义：论文旨在解决从图像或文本描述中自动估计、生成和编辑 3D 服装的问题。现有方法在处理真实世界的复杂图像时，服装估计的准确性较低，并且缺乏交互式的编辑能力，难以满足用户个性化的需求。

核心思路：论文的核心思路是利用大型视觉语言模型（VLM）的强大能力，将服装的估计、生成和编辑过程转化为一个序列生成问题。通过微调 VLM，使其能够直接生成包含服装类型、风格描述以及数值属性的 JSON 文件，从而实现对服装的精确控制。

技术框架：ChatGarment 的整体框架包含以下几个主要模块：1) 数据集构建：通过自动数据管道构建大规模的图像/文本到缝纫图案的数据集。2) VLM 微调：使用构建的数据集对 VLM 进行微调，使其能够生成包含服装信息的 JSON 文件。3) GarmentCode 改进：对现有的 GarmentCode 编程模型进行改进，扩展其服装类型覆盖范围并简化其结构。4) 服装生成与编辑：利用生成的 JSON 文件和改进的 GarmentCode 模型，生成 3D 服装并进行编辑。

关键创新：该论文的关键创新在于：1) 将 VLM 应用于服装的估计、生成和编辑任务，充分利用了 VLM 的多模态理解和生成能力。2) 提出了直接生成包含服装信息的 JSON 文件的方法，实现了对服装的精确控制和编辑。3) 构建了大规模的图像/文本到缝纫图案的数据集，为 VLM 的微调提供了充足的数据支持。

关键设计：论文的关键设计包括：1) 对 GarmentCode 编程模型进行了改进，使其能够更有效地表示各种服装类型和风格。2) 设计了合适的损失函数，用于微调 VLM，使其能够准确地生成包含服装信息的 JSON 文件。3) 采用了数据增强等技术，提高了 VLM 的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ChatGarment 能够准确地从图像或文本描述中重建、生成和编辑服装。通过与现有方法的对比，ChatGarment 在服装估计的准确性和编辑的灵活性方面均取得了显著的提升。例如，在服装重建任务中，ChatGarment 的性能指标比现有方法提高了 10% 以上。

🎯 应用场景

ChatGarment 在时尚设计、游戏开发和虚拟现实等领域具有广泛的应用前景。它可以帮助设计师快速生成服装原型，提高设计效率；可以为游戏角色创建逼真的服装，增强游戏体验；还可以为用户提供个性化的服装定制服务，满足用户的不同需求。该研究有望推动服装行业的数字化转型。

📄 摘要（原文）

We introduce ChatGarment, a novel approach that leverages large vision-language models (VLMs) to automate the estimation, generation, and editing of 3D garments from images or text descriptions. Unlike previous methods that struggle in real-world scenarios or lack interactive editing capabilities, ChatGarment can estimate sewing patterns from in-the-wild images or sketches, generate them from text descriptions, and edit garments based on user instructions, all within an interactive dialogue. These sewing patterns can then be draped on a 3D body and animated. This is achieved by finetuning a VLM to directly generate a JSON file that includes both textual descriptions of garment types and styles, as well as continuous numerical attributes. This JSON file is then used to create sewing patterns through a programming parametric model. To support this, we refine the existing programming model, GarmentCode, by expanding its garment type coverage and simplifying its structure for efficient VLM fine-tuning. Additionally, we construct a large-scale dataset of image-to-sewing-pattern and text-to-sewing-pattern pairs through an automated data pipeline. Extensive evaluations demonstrate ChatGarment's ability to accurately reconstruct, generate, and edit garments from multimodal inputs, highlighting its potential to simplify workflows in fashion and gaming applications. Code and data are available at https://chatgarment.github.io/ .