FaceTalk: Audio-Driven Motion Diffusion for Neural Parametric Head Models

📄 arXiv: 2312.08459v2 📥 PDF

作者: Shivangi Aneja, Justus Thies, Angela Dai, Matthias Nießner

分类: cs.CV, cs.AI, cs.GR, cs.SD, eess.AS

发布日期: 2023-12-13 (更新: 2024-03-17)

备注: Paper Video: https://youtu.be/7Jf0kawrA3Q Project Page: https://shivangi-aneja.github.io/projects/facetalk/

期刊: CVPR 2024

💡 一句话要点

FaceTalk：提出音频驱动的运动扩散模型，用于神经参数化头部模型的高保真动画生成

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 音频驱动动画 神经参数化头部模型 扩散模型 3D头部运动生成 语音合成 面部动画 深度学习 计算机视觉

📋 核心要点

  1. 现有方法难以从音频生成高保真、细节丰富的3D头部运动，尤其是在头发、耳朵和精细眼部运动的建模上。
  2. FaceTalk将音频信号与神经参数化头部模型的潜在空间结合，利用扩散模型生成逼真的、时间连贯的头部运动序列。
  3. 实验表明，FaceTalk生成的头部运动在视觉质量和自然度上显著优于现有方法，用户感知评估提升高达75%。

📝 摘要（中文）

FaceTalk 是一种新颖的生成方法，旨在从输入音频信号合成说话人头部的高保真 3D 运动序列。为了捕捉人头部的富有表现力和细节的特征，包括头发、耳朵和更精细的眼部运动，该方法将语音信号与神经参数化头部模型（NPHM）的潜在空间相结合，以创建高保真、时间上连贯的运动序列。为此，论文提出了一种新的潜在扩散模型，该模型在神经参数化头部模型的表达空间中运行，以合成音频驱动的逼真头部序列。由于缺乏具有相应 NPHM 表达式到音频的数据集，论文优化了这些对应关系，以生成一个时间优化 NPHM 表达式的数据集，该数据集适合于人们说话的音频-视频记录。据我们所知，这是第一个提出生成方法来逼真和高质量地合成体积人头部的运动，代表了音频驱动的 3D 动画领域的重大进步。值得注意的是，我们的方法因其生成合理的运动序列的能力而脱颖而出，该序列可以产生与 NPHM 形状空间相结合的高保真头部动画。实验结果证实了 FaceTalk 的有效性，始终如一地实现了卓越且视觉上自然的运动，涵盖了各种面部表情和风格，在感知用户研究评估中优于现有方法 75%。

🔬 方法详解

问题定义：论文旨在解决从音频信号生成逼真且高质量的3D人头运动序列的问题。现有方法在捕捉头部细节（如头发、耳朵和精细的眼部运动）以及生成时间连贯的运动序列方面存在不足，难以实现高保真度的头部动画。

核心思路：论文的核心思路是将音频信息映射到神经参数化头部模型（NPHM）的潜在表达空间，并利用扩散模型学习这种映射关系。通过在NPHM的表达空间中进行扩散过程，可以生成逼真且时间连贯的头部运动序列。这种方法能够更好地捕捉头部细节，并保证生成运动的自然性和流畅性。

技术框架：FaceTalk 的整体框架包括以下几个主要步骤：1) 构建或获取包含音频-视频对的数据集；2) 利用 NPHM 将视频帧转换为头部表达参数；3) 训练一个扩散模型，该模型以音频特征为条件，生成 NPHM 的表达参数序列；4) 使用训练好的扩散模型，从给定的音频生成对应的头部运动序列。

关键创新：FaceTalk 的关键创新在于：1) 将扩散模型应用于神经参数化头部模型的表达空间，实现高保真头部运动的生成；2) 提出了一种数据驱动的方法，用于学习音频和头部运动之间的对应关系，无需手动设计复杂的规则；3) 能够生成包含丰富细节（如头发、耳朵和眼部运动）的逼真头部动画。

关键设计：论文的关键设计包括：1) 使用时间优化的 NPHM 表达式拟合音频-视频记录，以生成高质量的训练数据；2) 设计合适的音频特征提取方法，以捕捉语音信号中的关键信息；3) 选择合适的扩散模型架构，并优化训练策略，以保证生成运动的质量和稳定性。

📊 实验亮点

FaceTalk 在实验中表现出色，通过感知用户研究评估，其生成的头部运动在视觉质量和自然度上显著优于现有方法，提升幅度高达 75%。这表明 FaceTalk 能够生成更逼真、更具表现力的头部动画，为相关应用领域带来显著的改进。

🎯 应用场景

FaceTalk 的潜在应用领域包括虚拟现实、游戏、电影制作、远程会议和虚拟助手等。该技术可以用于创建更逼真和富有表现力的虚拟角色，提升用户在虚拟环境中的沉浸感和交互体验。此外，FaceTalk 还可以用于自动生成动画内容，降低动画制作的成本和时间。

📄 摘要（原文）

We introduce FaceTalk, a novel generative approach designed for synthesizing high-fidelity 3D motion sequences of talking human heads from input audio signal. To capture the expressive, detailed nature of human heads, including hair, ears, and finer-scale eye movements, we propose to couple speech signal with the latent space of neural parametric head models to create high-fidelity, temporally coherent motion sequences. We propose a new latent diffusion model for this task, operating in the expression space of neural parametric head models, to synthesize audio-driven realistic head sequences. In the absence of a dataset with corresponding NPHM expressions to audio, we optimize for these correspondences to produce a dataset of temporally-optimized NPHM expressions fit to audio-video recordings of people talking. To the best of our knowledge, this is the first work to propose a generative approach for realistic and high-quality motion synthesis of volumetric human heads, representing a significant advancement in the field of audio-driven 3D animation. Notably, our approach stands out in its ability to generate plausible motion sequences that can produce high-fidelity head animation coupled with the NPHM shape space. Our experimental results substantiate the effectiveness of FaceTalk, consistently achieving superior and visually natural motion, encompassing diverse facial expressions and styles, outperforming existing methods by 75% in perceptual user study evaluation.