Single View Garment Reconstruction Using Diffusion Mapping Via Pattern Coordinates
作者: Ren Li, Cong Cao, Corentin Dumery, Yingxuan You, Hao Li, Pascal Fua
分类: cs.GR, cs.CV, cs.LG
发布日期: 2025-04-11 (更新: 2025-05-15)
备注: SIGGRAPH 2025
💡 一句话要点
提出基于扩散映射和图案坐标的单视图服装重建方法
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 服装重建 单视图重建 扩散模型 隐式缝纫图案 UV参数化
📋 核心要点
- 现有方法在人体姿态估计方面取得了进展，但对于宽松服装的精确几何重建仍然是一个挑战。
- 该方法结合隐式缝纫图案和扩散模型，在2D UV空间学习服装形状先验，并建立2D图像、UV坐标和3D几何的映射关系。
- 实验表明，该方法在合成数据训练后，能有效推广到真实图像，并在紧身和宽松服装上优于现有方法。
📝 摘要（中文）
本文提出了一种从单张图像中高精度重建3D服装的新方法，该方法弥合了2D和3D表示之间的差距。我们的方法将隐式缝纫图案（ISP）与生成扩散模型相结合，以学习2D UV空间中丰富的服装形状先验。一个关键创新是我们的映射模型，它建立了2D图像像素、UV图案坐标和3D几何体之间的对应关系，从而能够通过将学习到的先验与图像观测对齐来联合优化3D服装网格和相应的2D图案。尽管仅在合成模拟的服装数据上进行训练，但我们的方法可以有效地推广到真实世界的图像，在紧身和宽松服装上均优于现有方法。重建的服装保持了物理合理性，同时捕捉了精细的几何细节，从而实现了包括服装重定向和纹理操作在内的下游应用。
🔬 方法详解
问题定义：现有方法在从单张图像重建3D服装时，尤其是在处理宽松服装时，难以准确捕捉服装的几何细节。主要痛点在于缺乏有效的服装形状先验知识，以及难以建立2D图像像素与3D服装几何之间的准确对应关系。
核心思路：该论文的核心思路是利用隐式缝纫图案（ISP）和生成扩散模型，在2D UV空间中学习丰富的服装形状先验。通过建立2D图像像素、UV图案坐标和3D几何体之间的映射关系，实现2D先验知识与3D重建的有效结合。这样既能利用2D空间的先验信息，又能保证3D重建的几何精度。
技术框架：整体框架包含以下几个主要模块：1) 基于扩散模型的2D UV空间服装形状先验学习模块；2) 2D图像像素、UV图案坐标和3D几何体之间的映射模型；3) 联合优化3D服装网格和2D图案的优化模块。首先，利用扩散模型学习服装的2D UV形状先验。然后，通过映射模型建立图像像素、UV坐标和3D几何的对应关系。最后，通过优化算法，将学习到的2D先验与图像观测对齐，从而实现3D服装的重建。
关键创新：该论文最重要的技术创新在于提出了一个能够建立2D图像像素、UV图案坐标和3D几何体之间对应关系的映射模型。这个映射模型是连接2D先验知识和3D重建的关键桥梁。与现有方法相比，该方法能够更有效地利用2D空间的先验信息，从而提高3D服装重建的精度和鲁棒性。
关键设计：在扩散模型方面，采用了DDPM架构，并针对服装形状的特点进行了优化。在映射模型方面，设计了一种基于神经网络的映射函数，能够学习图像像素、UV坐标和3D几何之间的复杂关系。在损失函数方面，采用了多种损失函数，包括形状损失、纹理损失和物理约束损失，以保证重建服装的几何精度、纹理质量和物理合理性。
🖼️ 关键图片
📊 实验亮点
该方法在合成数据上训练后，能够有效地推广到真实世界的图像，并在紧身和宽松服装上均优于现有方法。实验结果表明，该方法能够重建出具有精细几何细节和物理合理性的3D服装模型。与现有方法相比，该方法在服装重建精度和鲁棒性方面均有显著提升。
🎯 应用场景
该研究成果可应用于虚拟试衣、虚拟化身创建、混合现实等领域。通过高精度地重建服装的3D模型，用户可以在虚拟环境中试穿各种服装，创建个性化的虚拟化身，并增强混合现实体验。此外，该技术还可以用于服装设计、游戏开发等领域，具有广阔的应用前景和实际价值。
📄 摘要（原文）
Reconstructing 3D clothed humans from images is fundamental to applications like virtual try-on, avatar creation, and mixed reality. While recent advances have enhanced human body recovery, accurate reconstruction of garment geometry -- especially for loose-fitting clothing -- remains an open challenge. We present a novel method for high-fidelity 3D garment reconstruction from single images that bridges 2D and 3D representations. Our approach combines Implicit Sewing Patterns (ISP) with a generative diffusion model to learn rich garment shape priors in a 2D UV space. A key innovation is our mapping model that establishes correspondences between 2D image pixels, UV pattern coordinates, and 3D geometry, enabling joint optimization of both 3D garment meshes and the corresponding 2D patterns by aligning learned priors with image observations. Despite training exclusively on synthetically simulated cloth data, our method generalizes effectively to real-world images, outperforming existing approaches on both tight- and loose-fitting garments. The reconstructed garments maintain physical plausibility while capturing fine geometric details, enabling downstream applications including garment retargeting and texture manipulation.