LUIVITON: Learned Universal Interoperable VIrtual Try-ON

📄 arXiv: 2509.05030v1 📥 PDF

作者: Cong Cao, Xianhang Cheng, Jingyuan Liu, Yujian Zheng, Zhenhui Lin, Meriem Chkir, Hao Li

分类: cs.CV

发布日期: 2025-09-05

💡 一句话要点

LUIVITON：学习的通用互操作虚拟试穿系统，适用于复杂服装和多样化人体模型。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 虚拟试穿 服装建模 SMPL模型 扩散模型 几何学习

📋 核心要点

  1. 现有虚拟试穿方法难以处理复杂服装和多样化人体模型，尤其是在服装与身体的精确对齐方面面临挑战。
  2. LUIVITON将服装悬垂问题分解为服装-SMPL和身体-SMPL对应，分别使用几何学习和扩散模型解决。
  3. 该系统能处理复杂几何形状和非流形网格，泛化到各种人形角色，并支持服装尺寸和材质的快速定制。

📝 摘要（中文）

LUIVITON是一个全自动虚拟试穿端到端系统，能够将复杂的多层服装覆盖到各种姿势的人形角色上。为了解决复杂服装与任意和高度多样化的体型对齐的挑战，我们使用SMPL作为代理表示，并将服装到身体的悬垂问题分解为两个对应任务：1) 服装到SMPL的对应和2) 身体到SMPL的对应，每个任务都有其独特的挑战。我们使用基于几何学习的方法进行服装到SMPL的拟合，以进行部分到完整的形状对应预测。对于身体到SMPL的对应，我们引入了一种基于扩散模型的方法，该方法使用多视图一致的外观特征和预训练的2D基础模型。我们的方法可以处理复杂的几何形状、非流形网格，并有效地推广到各种人形角色——包括人类、机器人、卡通人物、生物和外星人，同时保持计算效率以实现实际应用。除了提供全自动拟合解决方案外，LUIVITON还支持快速定制服装尺寸，允许用户在服装悬垂后调整服装尺寸和材料属性。我们证明了我们的系统可以生成高质量的3D服装拟合，无需任何人工劳动，即使没有2D服装缝纫图案。

🔬 方法详解

问题定义：论文旨在解决虚拟试穿中，复杂服装如何精确地覆盖到各种体型和姿势的人形角色上的问题。现有方法在处理复杂几何形状、非流形网格以及多样化人体模型时存在局限性，需要大量人工干预，且难以实现服装的个性化定制。

核心思路：论文的核心思路是将服装到身体的悬垂问题分解为两个独立的对应任务：服装到SMPL的对应和身体到SMPL的对应。SMPL作为中间表示，简化了服装和身体之间的对齐过程，使得可以针对每个对应任务设计更有效的解决方案。

技术框架：LUIVITON系统包含两个主要模块：服装-SMPL对应模块和身体-SMPL对应模块。服装-SMPL对应模块使用几何学习方法预测服装到SMPL的形状对应关系。身体-SMPL对应模块则利用扩散模型，结合多视图一致的外观特征和预训练的2D基础模型，建立身体与SMPL之间的对应关系。最后，系统将服装覆盖到SMPL模型上，再将SMPL模型变形到目标身体上，完成虚拟试穿。

关键创新：该论文的关键创新在于：1) 将服装悬垂问题分解为两个独立的对应任务，简化了问题复杂度；2) 引入扩散模型解决身体-SMPL对应问题，利用多视图信息和预训练模型提升了对应精度；3) 系统具有良好的泛化能力，可以处理各种人形角色，并支持服装的个性化定制。

关键设计：在服装-SMPL对应模块中，使用了基于几何学习的方法，具体网络结构和损失函数细节未知。在身体-SMPL对应模块中，扩散模型的设计至关重要，需要考虑如何有效地融合多视图外观特征和利用预训练的2D基础模型。此外，服装尺寸和材质的定制功能也需要精巧的设计，以保证用户体验。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LUIVITON系统能够全自动地将复杂服装覆盖到各种人形角色上，无需人工干预，即使没有2D服装缝纫图案也能生成高质量的3D服装拟合效果。该系统还支持服装尺寸和材质的快速定制，为用户提供了更大的灵活性。具体的性能数据和对比基线未知。

🎯 应用场景

LUIVITON在电商、游戏、虚拟现实等领域具有广泛的应用前景。用户可以在线上试穿服装，提高购物体验和满意度，降低退货率。游戏开发者可以利用该技术为游戏角色定制服装，提升游戏的真实感和个性化。在虚拟现实中，用户可以体验更逼真的虚拟试穿效果，增强沉浸感。

📄 摘要（原文）

We present LUIVITON, an end-to-end system for fully automated virtual try-on, capable of draping complex, multi-layer clothing onto diverse and arbitrarily posed humanoid characters. To address the challenge of aligning complex garments with arbitrary and highly diverse body shapes, we use SMPL as a proxy representation and separate the clothing-to-body draping problem into two correspondence tasks: 1) clothing-to-SMPL and 2) body-to-SMPL correspondence, where each has its unique challenges. While we address the clothing-to-SMPL fitting problem using a geometric learning-based approach for partial-to-complete shape correspondence prediction, we introduce a diffusion model-based approach for body-to-SMPL correspondence using multi-view consistent appearance features and a pre-trained 2D foundation model. Our method can handle complex geometries, non-manifold meshes, and generalizes effectively to a wide range of humanoid characters -- including humans, robots, cartoon subjects, creatures, and aliens, while maintaining computational efficiency for practical adoption. In addition to offering a fully automatic fitting solution, LUIVITON supports fast customization of clothing size, allowing users to adjust clothing sizes and material properties after they have been draped. We show that our system can produce high-quality 3D clothing fittings without any human labor, even when 2D clothing sewing patterns are not available.