GUAVA: Generalizable Upper Body 3D Gaussian Avatar

📄 arXiv: 2505.03351v2 📥 PDF

作者: Dongbin Zhang, Yunfei Liu, Lijian Lin, Ye Zhu, Yang Li, Minghan Qin, Yu Li, Haoqian Wang

分类: cs.CV

发布日期: 2025-05-06 (更新: 2025-08-01)

备注: Accepted to ICCV 2025, Project page: https://eastbeanzhang.github.io/GUAVA/

💡 一句话要点

GUAVA：提出可泛化的上身3D高斯头像重建框架，实现快速动画和渲染

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 3D头像重建 高斯表示 逆纹理映射 单图像重建 实时渲染 面部表情建模 神经渲染

📋 核心要点

  1. 现有3D人体头像重建方法复杂度高、耗时，且面部表情表达能力有限。
  2. GUAVA框架通过引入富有表现力的人体模型（EHM）和逆纹理映射等技术，实现了快速上身3D高斯头像重建。
  3. 实验表明，GUAVA在渲染质量和速度上均优于现有方法，重建时间仅需0.1秒，并支持实时动画。

📝 摘要（中文）

本文提出了一种从单张图像重建高质量、可动画的3D人体头像的方法，该方法能够捕捉富有表现力的面部和手部动作。现有的3D人体头像重建方法通常需要多视角或单目视频，并且需要在个体ID上进行训练，这既复杂又耗时。此外，由于SMPLX的表达能力有限，这些方法通常侧重于身体运动，但在面部表情方面表现不佳。为了解决这些挑战，我们首先引入了一个富有表现力的人体模型（EHM）来增强面部表情能力，并开发了一种精确的跟踪方法。基于此模板模型，我们提出了GUAVA，这是第一个用于快速动画上身3D高斯头像重建的框架。我们利用逆纹理映射和投影采样技术从单张图像中推断Ubody（上身）高斯分布。渲染后的图像通过神经细化器进行优化。实验结果表明，GUAVA在渲染质量方面显著优于以前的方法，并且在速度方面有了显著提高，重建时间在亚秒级（0.1秒）范围内，并支持实时动画和渲染。

🔬 方法详解

问题定义：现有3D人体头像重建方法通常需要多视角或单目视频，并且需要针对特定个体进行训练，导致流程复杂且耗时。此外，SMPLX模型的表达能力有限，难以捕捉细致的面部表情，限制了重建头像的真实感和动画效果。

核心思路：GUAVA的核心思路是利用高斯分布来表示上身3D结构，并结合逆纹理映射和投影采样技术，从单张图像中快速推断出这些高斯分布的参数。同时，引入一个富有表现力的人体模型（EHM）来增强面部表情的表达能力，从而提升重建头像的真实感。

技术框架：GUAVA框架主要包含以下几个阶段：1) 使用EHM模型进行人脸和上身建模；2) 利用逆纹理映射和投影采样技术从单张图像中推断Ubody高斯分布；3) 使用神经细化器对渲染后的图像进行优化，提升图像质量。整个流程旨在实现快速且高质量的3D头像重建。

关键创新：GUAVA的关键创新在于：1) 提出了一种基于高斯分布的上身3D表示方法，能够有效地捕捉人体结构和纹理信息；2) 引入了富有表现力的人体模型（EHM），显著提升了面部表情的表达能力；3) 结合逆纹理映射和投影采样技术，实现了从单张图像快速推断3D高斯分布参数。

关键设计：GUAVA的关键设计包括：1) EHM模型的具体结构和训练方法，如何增强面部表情的表达能力；2) 逆纹理映射和投影采样技术的具体实现细节，如何从单张图像中准确推断高斯分布参数；3) 神经细化器的网络结构和损失函数设计，如何提升渲染图像的质量和真实感。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GUAVA在渲染质量方面显著优于现有方法，并且在速度方面有了显著提高，重建时间在亚秒级（0.1秒）范围内，并支持实时动画和渲染。这使得GUAVA在实时性要求较高的应用场景中具有显著优势。具体的量化指标（如PSNR、SSIM等）和对比方法需要在论文中查找。

🎯 应用场景

GUAVA技术可广泛应用于虚拟现实、增强现实、游戏、社交媒体等领域。例如，用户可以使用单张自拍快速生成自己的3D头像，用于虚拟形象定制、在线会议、虚拟社交等场景。该技术还可以用于创建逼真的虚拟角色，提升游戏和影视作品的沉浸感。未来，GUAVA有望成为元宇宙等新兴应用的重要组成部分。

📄 摘要（原文）

Reconstructing a high-quality, animatable 3D human avatar with expressive facial and hand motions from a single image has gained significant attention due to its broad application potential. 3D human avatar reconstruction typically requires multi-view or monocular videos and training on individual IDs, which is both complex and time-consuming. Furthermore, limited by SMPLX's expressiveness, these methods often focus on body motion but struggle with facial expressions. To address these challenges, we first introduce an expressive human model (EHM) to enhance facial expression capabilities and develop an accurate tracking method. Based on this template model, we propose GUAVA, the first framework for fast animatable upper-body 3D Gaussian avatar reconstruction. We leverage inverse texture mapping and projection sampling techniques to infer Ubody (upper-body) Gaussians from a single image. The rendered images are refined through a neural refiner. Experimental results demonstrate that GUAVA significantly outperforms previous methods in rendering quality and offers significant speed improvements, with reconstruction times in the sub-second range (0.1s), and supports real-time animation and rendering.