Revisiting Avatar-As-Image: High-Fidelity Registration is All You Need

📄 arXiv: 2609.11722v1 📥 PDF

作者: Margaret Kostyrko, Yuxuan Xue, Garvita Tiwari, Gerard Pons-Moll

分类: cs.CV

发布日期: 2026-09-10

备注: Project Page: https://yuxuan-xue.com

💡 一句话要点

提出AvaImg以解决高保真3D人类模型注册问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D建模 高保真注册 UV纹理 多阶段优化 虚拟现实 数字人类

📋 核心要点

  1. 现有UV基础方法在高保真注册方面存在不足，导致3D穿衣人类模型的质量受限。
  2. AvaImg通过多阶段优化，利用签名绕行数约束和粗到细的位移优化来实现高保真注册。
  3. 在六个数据集上，AvaImg在身体拟合、形状估计和表面注册方面均表现优异，PSNR达到34.48dB。

📝 摘要（中文）

3D穿衣人类的表示通常依赖于标准化的2D UV纹理和位移图，但高保真注册的缺失限制了其应用。本文提出AvaImg，一个多阶段优化管道，通过签名绕行数强制实现衣物内的人体约束，并通过粗到细的位移优化恢复细致的表面细节。AvaImg在六个数据集上超越所有基线，提供接近扫描的纹理注册，PSNR达到34.48dB，验证了其与图像基础模型的兼容性。

🔬 方法详解

问题定义：论文旨在解决3D穿衣人类模型的高保真注册问题，现有方法未能满足这一要求，导致UV基础方法的效果有限。

核心思路：AvaImg通过引入签名绕行数来强制执行衣物内的人体约束，并采用粗到细的位移优化策略，以实现高质量的3D模型注册。

技术框架：AvaImg的整体架构包括多个优化阶段，首先通过高效的三层级联优化减少运行时间和存储需求，然后进行细致的表面细节恢复。

关键创新：AvaImg的主要创新在于其高效的多阶段优化流程和签名绕行数的应用，这与传统方法在注册精度和效率上有显著区别。

关键设计：在设计中，AvaImg实现了约10倍的运行时间缩短和约95%的存储节省，使用的损失函数和网络结构经过精心调整，以确保高保真度的注册效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AvaImg在六个数据集上的实验结果显示，其在身体拟合、形状估计和表面注册方面均超越了所有基线，PSNR达到34.48dB，验证了其在高保真注册中的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和数字人类建模等。通过提供高保真的3D人类模型，AvaImg能够提升用户体验，并推动相关领域的技术进步与创新。

📄 摘要（原文）

The representation of 3D clothed humans as standardized 2D UV texture and displacement maps over an underlying body model has long been studied. This compact representation is enticing as it enables pretrained image networks to process, generate, and edit 3D avatars, but is only useful if scans are accurately aligned and brought into correspondence via high-fidelity registration. This prerequisite has never been met, which we argue explains the limited quality of prior UV-based methods for clothed humans. Despite its significance, no public method produces high-fidelity SMPL(-X)+D registrations with UV texture from arbitrary clothed scans. We present AvaImg, a multi-stage optimization pipeline, to close this gap: it enforces body-inside-clothing constraint via signed winding numbers, made viable by a three-level efficiency cascade (~10x runtime reduced, ~95% storage saved), and recovers fine surface detail using coarse-to-fine displacement optimization. AvaImg outperforms all baselines in body fitting, shape estimation, and surface registration across six datasets, yielding textured registrations near-indistinguishable from scans (PSNR=34.48dB). For validation of AvaImg's Avatar-as-Image representation as imminently compatible with image foundation models, we auto-encode our UV maps via the frozen FLUX VAE. This achieves only 0.76mm added Chamfer error relative to scan and shows that the resulting maps lie within natural-image distributions, supporting the use of 2D generative priors for 3D avatar generation. Code, data, and Singularity containers will be at https://yuxuan-xue.com/avaimg.