IF-MDM: Implicit Face Motion Diffusion Model for High-Fidelity Realtime Talking Head Generation

📄 arXiv: 2412.04000v2 📥 PDF

作者: Sejong Yang, Seoung Wug Oh, Yang Zhou, Seon Joo Kim

分类: cs.CV

发布日期: 2024-12-05 (更新: 2024-12-10)

备注: Underreview

💡 一句话要点

提出隐式人脸运动扩散模型IF-MDM，实现高保真实时说话人头部生成。

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 说话人头部生成 隐式运动表示 扩散模型 实时渲染 人脸动画

📋 核心要点

  1. 现有说话人头部生成方法依赖显式人脸模型，但难以捕捉细微的面部表情和外观变化，导致生成视频保真度不高。
  2. IF-MDM采用隐式运动编码人脸，生成感知外观的压缩面部潜在变量，并引入运动统计信息来捕捉细粒度的唇部运动。
  3. IF-MDM实现了512x512分辨率下高达45fps的实时生成速度，并在保真度和速度上优于现有方法。

📝 摘要（中文）

本文提出了一种新颖的方法，用于从单张图像和音频输入生成高分辨率的说话人头部视频。现有方法通常使用显式人脸模型（如3DMM和面部标志点），但由于缺乏感知外观的运动表示，难以生成高保真视频。视频扩散模型虽然能实现高质量视频生成，但处理速度慢，限制了实际应用。我们提出的隐式人脸运动扩散模型（IF-MDM）采用隐式运动将人脸编码为感知外观的压缩面部潜在变量，从而增强视频生成效果。尽管隐式运动缺乏显式模型的空间解耦性，导致难以对齐细微的嘴唇运动，但我们引入了运动统计信息来帮助捕捉细粒度的运动信息。此外，我们的模型提供运动可控性，以优化推理过程中运动强度和视觉质量之间的权衡。IF-MDM支持实时生成高达45帧/秒的512x512分辨率视频。大量评估表明，该模型优于现有的扩散模型和显式人脸模型。

🔬 方法详解

问题定义：现有基于显式人脸模型（如3DMM）的说话人头部生成方法，由于其固有的表达能力限制，难以捕捉真实人脸的细微表情变化和个性化外观特征，导致生成视频的真实感和保真度不足。另一方面，基于扩散模型的视频生成方法虽然能生成高质量的视频，但计算复杂度高，难以满足实时应用的需求。

核心思路：IF-MDM的核心思路是利用隐式运动表示来编码人脸运动，从而避免了显式模型的表达能力瓶颈。通过将人脸运动信息压缩到低维潜在空间，并结合感知外观的信息，模型能够生成更逼真、更个性化的说话人头部视频。此外，模型还引入了运动统计信息来增强对细粒度唇部运动的捕捉能力，并提供运动可控性，允许用户在推理过程中调整运动强度和视觉质量之间的平衡。

技术框架：IF-MDM的整体框架包含以下几个主要模块：1) 编码器：将单张人脸图像和音频输入编码为隐式运动表示和外观特征表示。2) 运动统计模块：用于提取和建模人脸运动的统计信息，特别是唇部运动的细粒度信息。3) 扩散模型：基于编码后的隐式运动表示和外观特征表示，生成说话人头部视频。4) 可控运动模块：允许用户在推理过程中调整运动强度，以优化视觉质量。

关键创新：IF-MDM的关键创新在于使用隐式运动表示来编码人脸运动。与显式模型相比，隐式运动表示具有更强的表达能力，能够捕捉更复杂、更细微的人脸运动。此外，模型还创新性地引入了运动统计模块，用于增强对唇部运动的建模能力，并提供运动可控性，允许用户在推理过程中调整运动强度。

关键设计：在网络结构方面，IF-MDM采用了U-Net结构的扩散模型，并针对说话人头部生成任务进行了优化。在损失函数方面，模型采用了L1损失和感知损失来提高生成视频的视觉质量。此外，模型还设计了一种新的运动统计模块，用于提取和建模唇部运动的细粒度信息。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，IF-MDM在生成视频的保真度和实时性方面均优于现有方法。在512x512分辨率下，IF-MDM能够以高达45fps的速度生成视频，显著优于其他基于扩散模型的视频生成方法。此外，主观评价结果也表明，IF-MDM生成的视频在视觉质量和真实感方面均优于现有方法，例如基于3DMM的方法。

🎯 应用场景

IF-MDM具有广泛的应用前景，包括虚拟助手、在线教育、游戏、电影制作等领域。它可以用于创建逼真的虚拟人物，提供更自然、更个性化的用户交互体验。此外，IF-MDM还可以用于生成高质量的数字内容，例如电影特效、游戏角色动画等。未来，该技术有望进一步发展，实现更高分辨率、更高质量的说话人头部视频生成，并应用于更多领域。

📄 摘要（原文）

We introduce a novel approach for high-resolution talking head generation from a single image and audio input. Prior methods using explicit face models, like 3D morphable models (3DMM) and facial landmarks, often fall short in generating high-fidelity videos due to their lack of appearance-aware motion representation. While generative approaches such as video diffusion models achieve high video quality, their slow processing speeds limit practical application. Our proposed model, Implicit Face Motion Diffusion Model (IF-MDM), employs implicit motion to encode human faces into appearance-aware compressed facial latents, enhancing video generation. Although implicit motion lacks the spatial disentanglement of explicit models, which complicates alignment with subtle lip movements, we introduce motion statistics to help capture fine-grained motion information. Additionally, our model provides motion controllability to optimize the trade-off between motion intensity and visual quality during inference. IF-MDM supports real-time generation of 512x512 resolution videos at up to 45 frames per second (fps). Extensive evaluations demonstrate its superior performance over existing diffusion and explicit face models. The code will be released publicly, available alongside supplementary materials. The video results can be found on https://bit.ly/ifmdm_supplementary.