UNIC: Neural Garment Deformation Field for Real-time Clothed Character Animation

📄 arXiv: 2603.25580v1 📥 PDF

作者: Chengfeng Zhao, Junbo Qi, Yulou Liu, Zhiyang Dou, Minchen Li, Taku Komura, Ziwei Liu, Wenping Wang, Yuan Liu

分类: cs.CV

发布日期: 2026-03-26

备注: Project page: https://igl-hkust.github.io/UNIC/

💡 一句话要点

提出UNIC：一种基于神经形变场的服装动画实时生成方法

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 服装动画 神经形变场 实时渲染 深度学习 虚拟角色

📋 核心要点

  1. 现有物理仿真方法计算成本高，难以满足服装动画的实时性需求，而基于图神经网络的方法难以捕捉复杂服装的精细形变。
  2. UNIC的核心思想是学习特定服装实例的神经形变场，将3D空间点映射到形变偏移，避免了复杂拓扑处理，并保证形变的平滑性。
  3. 实验结果表明，UNIC在各种服装网格上表现出优越的性能和效率，使其在实时交互应用中具有潜在的应用价值。

📝 摘要（中文）

物理仿真是虚拟沉浸式体验中服装形变模拟的关键，但其计算成本高昂，难以满足实时应用需求。虽然基于图神经网络的方法尝试学习顶点上的服装形变，但难以捕捉复杂服装网格的精细形变。本文提出一种名为UNIC的神经形变场方法，用于实时驱动虚拟角色的服装动画。UNIC学习特定实例的神经形变场，无需泛化到新的服装，只需适应新的运动序列，从而降低训练难度并提升形变质量。神经形变场将3D点映射到形变偏移，避免了处理复杂服装拓扑，并在形变学习中注入了自然的平滑约束。大量实验表明，UNIC在各种服装网格上优于现有方法，使其在视频游戏等交互式应用中具有实用价值。

🔬 方法详解

问题定义：论文旨在解决服装动画的实时生成问题。现有基于物理仿真的方法计算量大，难以满足实时性要求；基于图神经网络的方法难以处理复杂拓扑结构的服装，且形变效果不够精细。

核心思路：论文的核心思路是学习一个神经形变场，该形变场将3D空间中的点映射到其形变后的位置。通过学习特定服装实例的形变场，避免了对新服装的泛化，降低了学习难度，同时利用形变场的连续性保证了形变的平滑性。

技术框架：UNIC的整体框架包括：1) 运动序列输入；2) 神经形变场网络，该网络以3D点坐标和运动序列为输入，预测该点的形变偏移；3) 形变后的服装网格生成。该框架的关键在于神经形变场网络的训练，该网络学习从运动序列到形变偏移的映射。

关键创新：论文的关键创新在于使用神经形变场来表示服装的形变。与传统的基于顶点的形变方法相比，神经形变场避免了处理复杂的服装拓扑结构，并且能够自然地引入平滑性约束。此外，实例特定的学习策略降低了学习难度，提高了形变质量。

关键设计：神经形变场网络通常采用MLP（多层感知机）结构，输入为3D点坐标和运动序列的编码，输出为该点的形变偏移。损失函数通常包括形变偏移的L1或L2损失，以及可选的平滑性约束项。运动序列的编码方式可以采用RNN（循环神经网络）或Transformer等序列模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UNIC在各种服装网格上都取得了优于现有方法的性能。与基于图神经网络的方法相比，UNIC能够更好地捕捉复杂服装的精细形变，并且具有更高的运行效率，能够满足实时应用的需求。具体性能数据（例如FPS、形变误差等）在论文中进行了详细的展示和对比。

🎯 应用场景

UNIC具有广泛的应用前景，例如在视频游戏、虚拟现实、增强现实等领域，可以用于实时生成虚拟角色的服装动画，提升用户体验。此外，该方法还可以应用于服装设计和虚拟试衣等领域，帮助设计师快速预览服装的穿着效果，并为用户提供个性化的试衣体验。

📄 摘要（原文）

Simulating physically realistic garment deformations is an essential task for virtual immersive experience, which is often achieved by physics simulation methods. However, these methods are typically time-consuming, computationally demanding, and require costly hardware, which is not suitable for real-time applications. Recent learning-based methods tried to resolve this problem by training graph neural networks to learn the garment deformation on vertices, which, however, fail to capture the intricate deformation of complex garment meshes with complex topologies. In this paper, we introduce a novel neural deformation field-based method, named UNIC, to animate the garments of an avatar in real time, given the motion sequences. Our key idea is to learn the instance-specific neural deformation field to animate the garment meshes. Such an instance-specific learning scheme does not require UNIC to generalize to new garments but only to new motion sequences, which greatly reduces the difficulty in training and improves the deformation quality. Moreover, neural deformation fields map the 3D points to their deformation offsets, which not only avoids handling topologies of the complex garments but also injects a natural smoothness constraint in the deformation learning. Extensive experiments have been conducted on various kinds of garment meshes to demonstrate the effectiveness and efficiency of UNIC over baseline methods, making it potentially practical and useful in real-world interactive applications like video games.