One Basis to Animate Them All: Gaussian Blendshape Distillation for Real-Time Avatars
作者: Ramazan Fazylov, Stamatis Lefkimmiatis, Ivan Laptev
分类: cs.CV, cs.AI, cs.HC, cs.LG
发布日期: 2026-10-01
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出GALA方法以解决实时动画中的神经推理瓶颈问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 高斯头像 实时动画 混合形状 线性近似 深度学习 动画生成 块局部PCA 移动设备
📋 核心要点
- 现有的3D高斯头像模型在实时动画中面临高昂的神经推理成本，限制了其应用。
- GALA方法通过线性组合身份无关的混合形状，替代了每帧的重神经解码，采用浅层系数预测器和线性混合。
- 实验结果表明，GALA在三种不同的头像模型上实现了动画成本降低三个数量级，同时保持了渲染质量。
📝 摘要（中文）
3D高斯头像支持快速渲染，但其实时动画常受到高昂的神经推理成本的挑战。本文提出GALA（通过线性近似的高斯动画）方法，利用身份无关的混合形状的线性组合来近似预训练头像模型的动画。通过构建基于块局部主成分分析的基底，GALA显著降低了内存需求并提高了动画的保真度。实验验证了该方法在三种不同头像模型上的有效性，动画成本降低了三个数量级，同时保持了大部分渲染质量，达到60fps的高帧率。
🔬 方法详解
问题定义：本文旨在解决3D高斯头像模型在实时动画中因神经推理成本高而导致的性能瓶颈。现有方法在处理复杂动画时，计算开销大，难以满足实时应用需求。
核心思路：GALA方法的核心思想是利用身份无关的混合形状的线性组合来近似预训练模型的动画，从而减少每帧的计算负担。通过这种方式，GALA能够在不需要重新训练原始模型的情况下，快速生成动画。
技术框架：GALA的整体架构包括一个浅层多层感知机（MLP）网络，用于预测混合形状系数，并结合块局部主成分分析（PCA）构建基底。该方法在渲染感知度量和内存预算下进行优化，确保高效的动画生成。
关键创新：GALA的主要创新在于通过线性近似替代传统的重神经网络解码，显著降低了计算复杂度，同时保持了动画的高保真度。这一方法与现有的基于深度学习的动画生成方法有本质区别。
关键设计：在设计中，GALA采用了块局部PCA来构建基底，并通过优化的损失函数来训练浅层网络，确保了动画生成的高效性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GALA方法在三种不同的3D头像模型上实现了动画成本降低三个数量级，且在保持渲染质量的同时，动画帧率可达到60fps。这一显著提升证明了该方法的有效性和实用性。
🎯 应用场景
GALA方法具有广泛的应用潜力，尤其是在需要实时动画生成的领域，如游戏开发、虚拟现实和增强现实等。其高效的动画生成能力可以显著提升用户体验，并为移动设备上的高帧率动画提供支持，推动相关技术的发展。
📄 摘要（原文）
3D Gaussian avatars support fast rendering, however, their real-time animation is often challenged by the costly neural inference. We address this bottleneck and show that the animation of pretrained avatar models can be closely approximated by a linear combination of identity-independent blendshapes. Building on this finding, we introduce GALA (Gaussian Animation via Linear Approximation), a distillation method that replaces per-frame heavy neural decoding with a shallow coefficient predictor and a linear blend. To improve fidelity and reduce memory requirements, we propose to construct the basis using block-local PCA under a rendering-aware metric and a memory budget. Our method learns a shallow MLP network to predict blendshape coefficients and applies to various animation architectures without retraining original models. We validate GALA by accelerating the inference of three distinct avatar models for 3D animation of facial expressions and full-bodies with clothing dynamics. Across these models, our distillation generalizes to held-out identities and reduces CPU animation cost by up to three orders of magnitude while preserving most of the rendering quality. Excellent results of our method confirm the shared linear structure of learned avatar representations and enable highly efficient and accurate animation at frame rates reaching up to 60fps on mobile devices. Project page: https://ramazan793.github.io/gala/