On the Skinning of Gaussian Avatars
作者: Nikolaos Zioulis, Nikolaos Kotarelas, Georgios Albanis, Spyridon Thermos, Anargyros Chatzitofis
分类: cs.CV, cs.GR
发布日期: 2025-09-14
💡 一句话要点
提出基于加权旋转混合的高斯Avatar蒙皮方法，提升动画真实性
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 高斯溅射 人体Avatar 蒙皮技术 线性混合蒙皮 四元数平均
📋 核心要点
- 神经辐射场虽然能重建人体Avatar，但渲染速度慢，且逆向映射过程复杂。
- 提出加权旋转混合方法，利用四元数平均处理高斯旋转，避免伪影。
- 该方法简化了基于顶点的高斯表示，易于动画化，并能集成到各种引擎中。
📝 摘要（中文）
基于辐射场的方法最近被用于重建人体Avatar，表明我们可以显著缩小创建动画人体Avatar所需的系统规模。虽然这一进展是由神经辐射场发起的，但其缓慢的渲染速度以及从观察空间到规范空间的逆向映射一直是主要挑战。随着高斯溅射克服了这两个挑战，出现了一个新的方法家族，它们训练和渲染速度更快，同时使用从规范空间到观察空间的正向蒙皮也更容易实现。然而，高斯变形所需的线性混合蒙皮对于其非线性旋转属性无法提供有效的结果。为了解决这些伪影，最近的工作使用网格属性来旋转非线性高斯属性或训练模型来预测校正偏移。相反，我们提出了一种利用四元数平均的加权旋转混合方法。这使得基于顶点的更简单的高斯能够被有效地动画化，并通过仅修改线性混合蒙皮技术并使用任何高斯光栅化器集成到任何引擎中。
🔬 方法详解
问题定义：现有基于高斯溅射的人体Avatar动画方法，依赖于线性混合蒙皮（Linear Blend Skinning, LBS）来驱动高斯基元的形变。然而，高斯基元具有非线性旋转属性，直接应用LBS会导致动画过程中出现不自然的形变伪影，影响Avatar的真实感。现有方法要么依赖额外的网格信息来修正旋转，要么训练模型预测偏移量，增加了计算复杂度和模型复杂度。
核心思路：论文的核心思路是提出一种加权旋转混合（Weighted Rotation Blending）方法，利用四元数平均来处理高斯基元的旋转。该方法避免了直接对高斯基元进行线性混合，而是对每个顶点相关的骨骼旋转进行加权平均，从而更准确地反映高斯基元的旋转变化。
技术框架：该方法主要包含以下几个步骤：1) 对于每个高斯基元，确定其受影响的骨骼集合以及对应的权重；2) 对于每个顶点，计算其受影响骨骼的旋转四元数；3) 使用加权平均方法，对这些四元数进行混合，得到该顶点最终的旋转四元数；4) 将该旋转四元数应用于高斯基元，实现形变。整个过程可以集成到现有的高斯光栅化渲染管线中。
关键创新：该方法的关键创新在于使用加权旋转混合来处理高斯基元的旋转，避免了线性混合蒙皮带来的伪影。与现有方法相比，该方法不需要额外的网格信息或模型训练，更加简洁高效。此外，该方法可以很容易地集成到现有的渲染引擎中，具有良好的通用性。
关键设计：关键设计在于四元数加权平均的实现。论文可能采用了球面线性插值（Slerp）或其他四元数平均方法，以保证旋转的平滑性和连续性。此外，骨骼权重的选择和优化也是影响动画效果的关键因素。具体的权重计算方法和优化策略可能在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
论文提出了一种基于加权旋转混合的高斯Avatar蒙皮方法，有效解决了线性混合蒙皮在高斯基元动画中产生的伪影问题。该方法无需额外网格信息或模型训练，易于集成到现有渲染引擎中。实验结果表明，该方法能够生成更真实自然的Avatar动画，提升用户体验。具体的性能数据和对比基线未知，需要查阅论文原文。
🎯 应用场景
该研究成果可广泛应用于虚拟现实、增强现实、游戏开发、数字人等领域。通过更真实自然的Avatar动画，可以提升用户在虚拟环境中的沉浸感和交互体验。此外，该方法还可以用于创建高质量的动画电影和视频内容，降低制作成本，提高制作效率。
📄 摘要（原文）
Radiance field-based methods have recently been used to reconstruct human avatars, showing that we can significantly downscale the systems needed for creating animated human avatars. Although this progress has been initiated by neural radiance fields, their slow rendering and backward mapping from the observation space to the canonical space have been the main challenges. With Gaussian splatting overcoming both challenges, a new family of approaches has emerged that are faster to train and render, while also straightforward to implement using forward skinning from the canonical to the observation space. However, the linear blend skinning required for the deformation of the Gaussians does not provide valid results for their non-linear rotation properties. To address such artifacts, recent works use mesh properties to rotate the non-linear Gaussian properties or train models to predict corrective offsets. Instead, we propose a weighted rotation blending approach that leverages quaternion averaging. This leads to simpler vertex-based Gaussians that can be efficiently animated and integrated in any engine by only modifying the linear blend skinning technique, and using any Gaussian rasterizer.