ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering

📄 arXiv: 2312.05941v2 📥 PDF

作者: Haokai Pang, Heming Zhu, Adam Kortylewski, Christian Theobalt, Marc Habermann

分类: cs.CV

发布日期: 2023-12-10 (更新: 2024-04-15)

备注: For project page, see https://vcai.mpi-inf.mpg.de/projects/ash/

💡 一句话要点

提出ASH，一种基于可动画高斯 Splatting 的高效逼真人像渲染方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯Splatting 神经渲染 人像渲染 实时渲染 可变形模型

📋 核心要点

  1. 现有神经隐式渲染方法在动态人像实时渲染方面面临挑战，难以兼顾逼真度和效率。
  2. ASH方法将3D高斯分布附加到可变形角色模型，在2D纹理空间学习参数，降低计算复杂度。
  3. 实验表明，ASH在姿势可控人像渲染方面优于现有实时方法，媲美离线方法。

📝 摘要（中文）

本文提出了一种名为ASH的可动画高斯Splatting方法，用于实时渲染逼真且可控的数字人像。尽管神经隐式渲染在数字人像的逼真度方面取得了显著进展，但实时性能主要体现在静态场景中。ASH将穿戴服饰的人体参数化为可动画的3D高斯分布，这些高斯分布可以有效地splatting到图像空间以生成最终渲染。为了降低计算复杂度，该方法将高斯分布附加到可变形的角色模型上，并在2D纹理空间中学习它们的参数，从而利用高效的2D卷积架构来扩展高斯分布的数量。在姿势可控人像的基准测试中，ASH明显优于现有的实时方法，并显示出与离线方法相当甚至更好的结果。

🔬 方法详解

问题定义：论文旨在解决动态人体的高效且逼真的渲染问题。现有的神经隐式渲染方法虽然能实现高逼真度，但在动态场景下的实时渲染性能不足，计算成本高昂，难以满足实时应用的需求。

核心思路：核心思路是将3D高斯分布附加到可变形的角色模型上，并在2D纹理空间中学习高斯分布的参数。通过在2D纹理空间进行参数学习，可以利用高效的2D卷积架构，从而降低计算复杂度，实现实时渲染。

技术框架：ASH方法的整体框架包括以下几个主要步骤：1）使用可变形角色模型（例如SMPL）来表示人体姿态和形状。2）将3D高斯分布附加到角色模型的表面。3）在2D纹理空间中学习高斯分布的参数，例如位置、协方差矩阵和颜色。4）使用高斯Splatting技术将高斯分布投影到图像空间，并进行渲染。

关键创新：最重要的创新点在于将高斯分布的参数学习从3D空间转移到2D纹理空间。这种方法允许利用高效的2D卷积神经网络进行参数学习，显著降低了计算复杂度，从而实现了实时渲染。与直接在3D空间中学习高斯参数的方法相比，ASH方法具有更高的效率和可扩展性。

关键设计：ASH的关键设计包括：1）使用UV贴图将3D高斯分布映射到2D纹理空间。2）使用2D卷积神经网络来预测每个高斯分布的参数，例如位置、协方差矩阵和颜色。3）使用可微分的高斯Splatting渲染器将高斯分布投影到图像空间，并计算渲染损失。损失函数可能包括光度损失、深度损失和正则化项，以提高渲染质量和稳定性。具体的网络结构和损失函数参数未知。

📊 实验亮点

ASH方法在姿势可控人像渲染的基准测试中表现出色，显著优于现有的实时方法，并且取得了与离线方法相当甚至更好的结果。具体的性能数据和提升幅度未知，但摘要中明确指出ASH方法“outperforms existing real-time methods by a large margin”。

🎯 应用场景

ASH方法可应用于虚拟现实、增强现实、游戏、虚拟会议等领域，实现逼真且可控的数字人像实时渲染。该技术能够提升用户在虚拟环境中的沉浸感和交互体验，并为创建个性化虚拟化身提供新的可能性。未来，该技术有望应用于远程协作、数字内容创作等更广泛的领域。

📄 摘要（原文）

Real-time rendering of photorealistic and controllable human avatars stands as a cornerstone in Computer Vision and Graphics. While recent advances in neural implicit rendering have unlocked unprecedented photorealism for digital avatars, real-time performance has mostly been demonstrated for static scenes only. To address this, we propose ASH, an animatable Gaussian splatting approach for photorealistic rendering of dynamic humans in real-time. We parameterize the clothed human as animatable 3D Gaussians, which can be efficiently splatted into image space to generate the final rendering. However, naively learning the Gaussian parameters in 3D space poses a severe challenge in terms of compute. Instead, we attach the Gaussians onto a deformable character model, and learn their parameters in 2D texture space, which allows leveraging efficient 2D convolutional architectures that easily scale with the required number of Gaussians. We benchmark ASH with competing methods on pose-controllable avatars, demonstrating that our method outperforms existing real-time methods by a large margin and shows comparable or even better results than offline methods.