No Distillation Needed: Single-Pass Real-Time Talking Heads via Acausal Noise Shaping
作者: Yu Han, Dejan Markovic, Alexander Richard, Wojciech Zielonka, Akshay Venkatesh, Cheng-hsin Wuu, Michael Zollhoefer
分类: cs.CV
发布日期: 2026-10-08
备注: Project website: https://wojciechzielonka.com/facegan/
💡 一句话要点
提出FaceGAN以解决实时音频驱动面部动画问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 音频驱动 面部动画 实时生成 非因果噪声 生成对抗网络 虚拟代理 数字人类
📋 核心要点
- 现有的音频驱动面部动画方法多依赖扩散模型，导致实时性差，无法满足在线生成的需求。
- 本文提出FaceGAN，通过非因果噪声塑形，允许模型在单次前向传递中生成面部表情，保持因果性。
- FaceGAN在生成质量上与最先进的方法相匹配或超越，且具备无限生成能力，无漂移现象。
📝 摘要（中文）
音频驱动的面部动画是实时虚拟化身、远程呈现和具身虚拟代理的基础，要求在线运行。现有的扩散模型需要多次网络评估，难以满足流媒体需求。本文提出FaceGAN，通过非因果噪声塑形，解决了这一问题，使得模型在单次前向传递中生成表情和头部姿态，且在生成质量上与现有方法相当或更优。
🔬 方法详解
问题定义：本文旨在解决音频驱动的面部动画实时生成问题。现有的扩散模型因需要多次网络评估，导致生成速度慢，无法满足实时应用的需求。
核心思路：论文提出FaceGAN，通过非因果噪声塑形，允许模型在生成过程中保持因果性，同时利用合成噪声的未来信息，提升生成效率。
技术框架：FaceGAN的整体架构包括音频输入模块、非因果噪声生成模块和面部表情生成模块。音频输入驱动生成过程，非因果噪声为生成提供丰富的随机性，最终生成面部表情和头部姿态。
关键创新：FaceGAN的主要创新在于通过非因果噪声塑形，解决了传统因果生成模型在生成质量和效率上的瓶颈，使得模型能够在单次前向传递中完成生成。
关键设计：模型采用了特定的损失函数以平衡生成质量和速度，同时设计了有限的注意力窗口，确保生成过程中的稳定性和一致性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，FaceGAN在生成质量上与当前最先进的方法相当，且在生成速度上显著提升，能够在单次前向传递中生成面部表情和头部姿态，避免了生成过程中的漂移现象。
🎯 应用场景
FaceGAN在实时音频驱动的面部动画生成中具有广泛的应用潜力，适用于虚拟现实、增强现实、在线会议和社交媒体等领域。其高效的生成能力和优质的输出质量将推动虚拟代理和数字人类的进一步发展。
📄 摘要（原文）
Audio-driven facial animation underpins real-time avatars, telepresence, and embodied virtual agents. And it must run online: each frame emitted from audio observed up to the current time, at interactive rates. Recent progress is dominated by diffusion models, which need many network evaluations per sample and are therefore a poor fit for streaming. We argue the cost is unnecessary in this domain. Audio-conditioned facial motion occupies a comparatively low-dimensional manifold, a regime where a single-pass GAN suffices. The obstacle is not capacity but stochastic structure. We show that a causal, time-invariant generator driven by i.i.d. noise cannot suppress its output spectrum over a band without collapsing its per-step innovation. We proposed FaceGAN, which dissolved the limitation by shaping the noise pathway acausally. Because the driving noise is synthetic, its future can be sampled now, so the audio-to-expression path stays causal, and the model supports fully causal operation. FaceGAN emits expression and head pose in a single forward pass per frame and matches or outperforms state-of-art approaches in generation quality. Being feed-forward with bounded attention windows, it generates indefinitely without drift.