AniGaussian: Animatable Gaussian Avatar with Pose-guided Deformation
作者: Mengtian Li, Shengxiang Yao, Chen Kai, Zhifeng Xie, Keyu Chen, Yu-Gang Jiang
分类: cs.GR, cs.CV
发布日期: 2025-02-24
备注: 13pages, 14 figures. arXiv admin note: text overlap with arXiv:2401.09720
💡 一句话要点
AniGaussian：提出姿态引导变形的可动高斯人像，提升重建精度和解剖学正确性
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 动态人体重建 高斯模型 SMPL模型 姿态引导变形 虚拟化身
📋 核心要点
- 现有基于高斯模型的动态人体重建方法难以充分利用SMPL模型的先验知识，重建精度和解剖学正确性有待提高。
- AniGaussian提出姿态引导变形策略，利用SMPL姿态信息约束高斯人像，并结合刚性先验和分割缩放策略，提升模型表达能力。
- 实验结果表明，AniGaussian在定性和定量指标上均优于现有方法，有效提升了动态人体重建的质量和真实感。
📝 摘要（中文）
本文提出了一种名为AniGaussian的可动高斯人像方法，旨在提升基于高斯模型的动态人体重建效果。该方法通过两个关键创新解决现有挑战：首先，提出了一种创新的姿态引导变形策略，利用SMPL姿态信息约束动态高斯人像，确保重建模型不仅捕捉到精细的表面细节，还能在各种运动中保持解剖学上的正确性。其次，为了克服高斯模型在表示动态人体方面的表达能力限制，该方法结合了先前工作中基于刚性的先验知识，以增强高斯模型的动态变换能力，并引入了一种分割缩放策略，显著提高了几何质量。消融实验验证了模型设计的有效性。与现有方法的大量比较表明，AniGaussian在定性和定量指标上均表现出卓越的性能。
🔬 方法详解
问题定义：现有基于高斯模型的动态人体重建方法，虽然取得了一定的进展，但仍然存在不足。主要痛点在于：一是未能充分利用SMPL模型提供的姿态先验知识，导致重建的人像在运动过程中可能出现解剖结构不合理的情况；二是高斯模型本身在表达复杂动态人体时存在局限性，难以捕捉到精细的几何细节。
核心思路：AniGaussian的核心思路是结合SMPL模型的姿态信息，通过姿态引导的变形策略来约束高斯人像的运动，从而保证重建人像的解剖学正确性。同时，为了增强高斯模型的表达能力，引入了刚性先验和分割缩放策略，使得模型能够更好地捕捉到动态人体的细节。
技术框架：AniGaussian的整体框架可以概括为：首先，利用SMPL模型提取人体姿态信息；然后，将这些姿态信息作为引导，对高斯人像进行变形，使其能够跟随人体的运动；同时，结合刚性先验和分割缩放策略，进一步优化高斯人像的几何形状和细节。最终，通过渲染得到重建的动态人像。
关键创新：AniGaussian最重要的技术创新点在于姿态引导的变形策略。该策略能够有效地将SMPL模型的姿态信息融入到高斯人像的重建过程中，从而保证重建人像的解剖学正确性。与现有方法相比，AniGaussian能够更好地利用SMPL模型的先验知识，从而获得更真实、更自然的重建效果。
关键设计：在姿态引导变形策略中，关键在于如何将SMPL姿态信息有效地传递给高斯人像。具体实现上，可能涉及到设计特定的损失函数，例如，通过最小化高斯人像的顶点与SMPL模型对应顶点之间的距离，来约束高斯人像的形状。此外，分割缩放策略的具体实现方式（例如，如何确定分割的位置和缩放的比例）也是影响重建效果的关键因素。具体的参数设置和网络结构细节在论文中应该会有更详细的描述。
🖼️ 关键图片
📊 实验亮点
AniGaussian通过姿态引导变形和分割缩放策略，显著提升了动态人体重建的质量。实验结果表明，该方法在定性和定量指标上均优于现有方法。具体的性能数据和对比基线需要在论文中查找，例如，可能在PSNR、SSIM等指标上取得了显著提升。
🎯 应用场景
AniGaussian的研究成果具有广泛的应用前景，例如虚拟现实、增强现实、游戏开发、电影制作等领域。它可以用于创建高度逼真的虚拟化身，为用户提供更加沉浸式的体验。此外，该技术还可以应用于远程医疗、康复训练等领域，通过重建患者的动态模型，帮助医生进行诊断和治疗。
📄 摘要（原文）
Recent advancements in Gaussian-based human body reconstruction have achieved notable success in creating animatable avatars. However, there are ongoing challenges to fully exploit the SMPL model's prior knowledge and enhance the visual fidelity of these models to achieve more refined avatar reconstructions. In this paper, we introduce AniGaussian which addresses the above issues with two insights. First, we propose an innovative pose guided deformation strategy that effectively constrains the dynamic Gaussian avatar with SMPL pose guidance, ensuring that the reconstructed model not only captures the detailed surface nuances but also maintains anatomical correctness across a wide range of motions. Second, we tackle the expressiveness limitations of Gaussian models in representing dynamic human bodies. We incorporate rigid-based priors from previous works to enhance the dynamic transform capabilities of the Gaussian model. Furthermore, we introduce a split-with-scale strategy that significantly improves geometry quality. The ablative study experiment demonstrates the effectiveness of our innovative model design. Through extensive comparisons with existing methods, AniGaussian demonstrates superior performance in both qualitative result and quantitative metrics.