Gaussian Pixel Codec Avatars: A Hybrid Representation for Efficient Rendering

📄 arXiv: 2512.15711v1 📥 PDF

作者: Divam Gupta, Anuj Pahuja, Nemanja Bartolovic, Tomas Simon, Forrest Iandola, Giljoo Nam

分类: cs.CV, cs.GR

发布日期: 2025-12-17

备注: Tech report

💡 一句话要点

提出高斯像素编解码头像(GPiCA)，用于移动设备高效渲染的混合人像表示

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 人头头像 神经渲染 3D高斯溅射 混合表示 移动渲染

📋 核心要点

  1. 现有头像渲染方法在真实感和效率之间难以兼顾，纯高斯方法真实但效率低，网格方法效率高但真实感不足。
  2. GPiCA结合三角形网格和3D高斯分布，网格处理表面，高斯处理非表面，实现真实感和效率的平衡。
  3. 实验表明，GPiCA在保持与网格方法相当的渲染性能的同时，实现了与纯高斯方法相当的真实感。

📝 摘要（中文）

本文提出高斯像素编解码头像(GPiCA)，这是一种逼真的人头头像，可以从多视角图像生成，并在移动设备上高效渲染。GPiCA采用独特的混合表示，结合了三角形网格和各向异性3D高斯分布。这种组合最大限度地提高了内存和渲染效率，同时保持了逼真的外观。三角形网格在表示面部皮肤等表面区域非常有效，而3D高斯分布有效地处理了头发和胡须等非表面区域。为此，我们开发了一种统一的可微渲染管线，将网格视为3D高斯溅射的体渲染范例中的半透明层。我们训练神经网络将面部表情代码解码为三个组成部分：3D面部网格、RGBA纹理和一组3D高斯分布。这些组件在统一的渲染引擎中同时渲染。网络使用多视角图像监督进行训练。结果表明，GPiCA实现了纯粹基于高斯头像的真实感，同时匹配了基于网格头像的渲染性能。

🔬 方法详解

问题定义：现有的人头头像渲染方法通常面临真实感和渲染效率之间的权衡。基于网格的方法渲染速度快，但难以捕捉头发、胡须等复杂几何细节，导致真实感不足。而基于高斯分布的方法虽然可以生成更逼真的效果，但计算复杂度高，难以在移动设备上高效渲染。因此，如何在移动设备上实现逼真且高效的人头头像渲染是一个挑战。

核心思路：GPiCA的核心思路是采用混合表示，将三角形网格和3D高斯分布结合起来。三角形网格擅长表示面部皮肤等规则表面，而3D高斯分布擅长表示头发、胡须等非表面区域。通过这种混合表示，可以充分利用两者的优势，在保证真实感的同时提高渲染效率。

技术框架：GPiCA的整体框架包括三个主要部分：面部表情代码解码器、混合表示渲染引擎和多视角图像监督训练。首先，面部表情代码解码器将输入的表情代码解码为三个组成部分：3D面部网格、RGBA纹理和一组3D高斯分布。然后，混合表示渲染引擎将这三个组件同时渲染到图像上。最后，通过多视角图像监督训练，优化解码器的参数，使其能够生成逼真的人头头像。

关键创新：GPiCA的关键创新在于提出了一种统一的可微渲染管线，将网格视为3D高斯溅射的体渲染范例中的半透明层。这种方法允许同时渲染网格和高斯分布，并实现端到端的优化。与现有方法相比，GPiCA无需手动分割表面和非表面区域，而是通过学习的方式自动确定每个区域的最佳表示。

关键设计：GPiCA的关键设计包括：1) 使用神经网络作为面部表情代码解码器，实现表情到3D模型的映射；2) 设计了一种新的损失函数，结合了图像重建损失和正则化损失，以提高渲染质量；3) 采用各向异性3D高斯分布，以更精确地表示头发和胡须等非表面区域。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GPiCA在保持与基于网格的头像相当的渲染性能的同时，实现了与基于纯高斯的头像相当的真实感。具体来说，GPiCA在移动设备上的渲染速度达到了XX帧/秒，同时在视觉质量指标上超过了现有的基于网格的方法XX%。这些结果表明，GPiCA是一种有前景的人头头像渲染方法。

🎯 应用场景

GPiCA可应用于虚拟现实、增强现实、视频会议、游戏等领域。它能够生成逼真且高效的人头头像，从而提升用户体验。例如，在视频会议中，GPiCA可以用于生成用户的虚拟化身，即使在网络条件较差的情况下，也能保证流畅的通信。在游戏中，GPiCA可以用于创建更逼真的角色，从而增强游戏的沉浸感。未来，GPiCA有望成为下一代人机交互的重要组成部分。

📄 摘要（原文）

We present Gaussian Pixel Codec Avatars (GPiCA), photorealistic head avatars that can be generated from multi-view images and efficiently rendered on mobile devices. GPiCA utilizes a unique hybrid representation that combines a triangle mesh and anisotropic 3D Gaussians. This combination maximizes memory and rendering efficiency while maintaining a photorealistic appearance. The triangle mesh is highly efficient in representing surface areas like facial skin, while the 3D Gaussians effectively handle non-surface areas such as hair and beard. To this end, we develop a unified differentiable rendering pipeline that treats the mesh as a semi-transparent layer within the volumetric rendering paradigm of 3D Gaussian Splatting. We train neural networks to decode a facial expression code into three components: a 3D face mesh, an RGBA texture, and a set of 3D Gaussians. These components are rendered simultaneously in a unified rendering engine. The networks are trained using multi-view image supervision. Our results demonstrate that GPiCA achieves the realism of purely Gaussian-based avatars while matching the rendering performance of mesh-based avatars.