ReWeaver: Towards Simulation-Ready and Topology-Accurate Garment Reconstruction

📄 arXiv: 2601.16672v1 📥 PDF

作者: Ming Li, Hui Shan, Kai Zheng, Chentao Shen, Siyu Liu, Yanwei Fu, Zhen Chen, Xiangru Huang

分类: cs.CV

发布日期: 2026-01-23

备注: 15 pages, 8 figures, Submitted to CVPR 2026

💡 一句话要点

ReWeaver：提出一种拓扑精确的服装重建框架，适用于物理仿真。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 服装重建 拓扑结构 物理仿真 多视角图像 深度学习

📋 核心要点

  1. 现有服装重建方法依赖非结构化表示，难以保证拓扑结构和缝纫结构的准确性，限制了其在物理仿真中的应用。
  2. ReWeaver通过预测2D UV空间和3D空间中的接缝、面板及其连接性，实现拓扑精确的服装重建，并与多视角图像对齐。
  3. 论文构建了大规模数据集GCD-TS用于训练，实验结果表明ReWeaver在拓扑精度、几何对齐和接缝-面板一致性方面优于现有方法。

📝 摘要（中文）

高质量的3D服装重建在缩小数字替身、虚拟试穿和机器人操作等应用中的sim-to-real差距方面起着关键作用。然而，现有的服装重建方法通常依赖于非结构化的表示，例如3D高斯溅射，难以提供精确的服装拓扑和缝纫结构重建。因此，重建的输出通常不适合高保真物理仿真。我们提出了ReWeaver，这是一个新颖的框架，用于从稀疏的多视角RGB图像中进行拓扑精确的3D服装和缝纫图案重建。给定至少四个输入视图，ReWeaver可以预测2D UV空间和3D空间中的接缝和面板及其连接性。预测的接缝和面板与多视角图像精确对齐，从而产生适用于3D感知、高保真物理仿真和机器人操作的结构化2D-3D服装表示。为了实现有效的训练，我们构建了一个大规模数据集GCD-TS，其中包含多视角RGB图像、3D服装几何体、纹理化人体网格和带注释的缝纫图案。该数据集包含超过100,000个合成样本，涵盖了广泛的复杂几何体和拓扑结构。大量的实验表明，ReWeaver在拓扑精度、几何对齐和接缝-面板一致性方面始终优于现有方法。

🔬 方法详解

问题定义：现有服装重建方法，如基于3D高斯溅射的方法，无法准确重建服装的拓扑结构和缝纫结构，导致重建结果难以直接用于高保真物理仿真。这些方法缺乏对服装内在结构信息的建模，无法保证重建结果的拓扑正确性。

核心思路：ReWeaver的核心思路是将服装重建问题转化为一个结构化预测问题，即同时预测服装的接缝、面板以及它们之间的连接关系。通过显式地建模服装的拓扑结构，可以保证重建结果的拓扑正确性，从而使其适用于物理仿真。

技术框架：ReWeaver框架包含以下主要模块：1) 多视角图像特征提取模块，用于提取输入图像的视觉特征；2) 接缝和面板预测模块，用于预测2D UV空间和3D空间中的接缝和面板；3) 连接性预测模块，用于预测接缝和面板之间的连接关系；4) 优化模块，用于优化重建结果，使其与输入图像对齐。

关键创新：ReWeaver的关键创新在于其对服装拓扑结构的显式建模。通过同时预测接缝、面板和连接性，ReWeaver能够保证重建结果的拓扑正确性。此外，ReWeaver还提出了一个新颖的优化方法，用于将重建结果与输入图像对齐。

关键设计：ReWeaver使用卷积神经网络（CNN）作为其主要架构。损失函数包括几何损失、拓扑损失和图像对齐损失。几何损失用于约束重建结果的几何形状，拓扑损失用于约束重建结果的拓扑结构，图像对齐损失用于约束重建结果与输入图像的对齐程度。数据集GCD-TS包含大量合成数据，涵盖了各种服装类型和姿势，用于训练ReWeaver模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ReWeaver在拓扑精度、几何对齐和接缝-面板一致性方面均优于现有方法。实验结果表明，ReWeaver能够生成拓扑结构正确的服装模型，并且能够与多视角图像精确对齐。此外，ReWeaver在GCD-TS数据集上取得了显著的性能提升，证明了其在大规模数据集上的泛化能力。

🎯 应用场景

ReWeaver的潜在应用领域包括数字替身创建、虚拟试穿、机器人服装操作等。该技术可以用于生成高质量的3D服装模型，从而提高虚拟体验的真实感和沉浸感。此外，ReWeaver还可以用于训练机器人进行服装操作，例如折叠、穿戴等。未来，该技术有望在电商、游戏、动画等领域得到广泛应用。

📄 摘要（原文）

High-quality 3D garment reconstruction plays a crucial role in mitigating the sim-to-real gap in applications such as digital avatars, virtual try-on and robotic manipulation. However, existing garment reconstruction methods typically rely on unstructured representations, such as 3D Gaussian Splats, struggling to provide accurate reconstructions of garment topology and sewing structures. As a result, the reconstructed outputs are often unsuitable for high-fidelity physical simulation. We propose ReWeaver, a novel framework for topology-accurate 3D garment and sewing pattern reconstruction from sparse multi-view RGB images. Given as few as four input views, ReWeaver predicts seams and panels as well as their connectivities in both the 2D UV space and the 3D space. The predicted seams and panels align precisely with the multi-view images, yielding structured 2D--3D garment representations suitable for 3D perception, high-fidelity physical simulation, and robotic manipulation. To enable effective training, we construct a large-scale dataset GCD-TS, comprising multi-view RGB images, 3D garment geometries, textured human body meshes and annotated sewing patterns. The dataset contains over 100,000 synthetic samples covering a wide range of complex geometries and topologies. Extensive experiments show that ReWeaver consistently outperforms existing methods in terms of topology accuracy, geometry alignment and seam-panel consistency.