JoyGen: Audio-Driven 3D Depth-Aware Talking-Face Video Editing

📄 arXiv: 2501.01798v1 📥 PDF

作者: Qili Wang, Dajiang Wu, Zihang Xu, Junshi Huang, Jun Lv

分类: cs.CV

发布日期: 2025-01-03

💡 一句话要点

JoyGen：提出深度感知的音频驱动3D说话人脸视频编辑框架

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 说话人脸生成 音频驱动 3D重建 深度感知 唇-音频同步 生成对抗网络 中文数据集

📋 核心要点

  1. 现有说话人脸视频生成方法在唇部音频同步的精确性和视觉质量方面仍面临挑战。
  2. JoyGen通过结合3D重建、音频驱动的运动生成以及深度信息，实现更精确的唇部运动和更高质量的视觉合成。
  3. 实验结果表明，JoyGen在唇-音频同步和视觉质量方面均优于现有方法，证明了其有效性。

📝 摘要（中文）

本文提出了一种名为JoyGen的新颖两阶段框架，用于生成说话人脸视频。该框架包含音频驱动的唇部运动生成和视觉外观合成两个阶段。第一阶段，使用3D重建模型和audio2motion模型分别预测身份和表情系数。接下来，通过将音频特征与面部深度图相结合，为面部生成中的精确唇-音频同步提供全面的监督。此外，我们构建了一个包含130小时高质量视频的中文说话人脸数据集。JoyGen在开源HDTF数据集和我们整理的数据集上进行训练。实验结果表明，我们的方法实现了卓越的唇-音频同步和视觉质量。

🔬 方法详解

问题定义：现有的说话人脸视频生成方法难以在编辑唇形时，保证精确的唇-音频同步和高视觉质量。尤其是在处理中文等复杂语音时，细微的唇部动作难以准确捕捉和生成。

核心思路：JoyGen的核心思路是将音频特征与面部深度图相结合，从而为面部生成提供更全面的监督信息，提升唇-音频同步的精确性。同时，采用两阶段框架，将唇部运动生成和视觉外观合成解耦，分别进行优化。

技术框架：JoyGen框架包含两个主要阶段：1) 音频驱动的唇部运动生成：利用3D重建模型和audio2motion模型分别预测身份和表情系数。2) 视觉外观合成：将音频特征与面部深度图融合，作为生成器的输入，合成最终的说话人脸视频。

关键创新：JoyGen的关键创新在于利用面部深度图来增强唇-音频同步的精确性。深度图提供了面部结构的额外信息，有助于模型更好地理解唇部运动与音频之间的关系。此外，构建了大规模中文说话人脸数据集，为模型训练提供了充足的数据支持。

关键设计：在音频驱动的唇部运动生成阶段，采用了3D Morphable Model (3DMM) 来表示人脸，并使用音频特征预测3DMM的系数。在视觉外观合成阶段，使用了生成对抗网络 (GAN) 作为生成器，并引入了深度感知损失函数，以鼓励生成器生成与输入深度图一致的面部结构。具体损失函数细节和网络结构未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

JoyGen在唇-音频同步和视觉质量方面均取得了显著提升。实验结果表明，JoyGen在唇形同步精度指标上优于现有方法，并且生成的视频具有更高的视觉逼真度。此外，该论文构建的中文说话人脸数据集也为相关研究提供了宝贵的数据资源。

🎯 应用场景

JoyGen具有广泛的应用前景，包括虚拟主播、数字人、电影特效、在线教育等领域。它可以用于生成逼真的说话人脸视频，提升用户体验和内容创作效率。此外，该技术还可以应用于语音驱动的虚拟现实和增强现实应用中，实现更自然的人机交互。

📄 摘要（原文）

Significant progress has been made in talking-face video generation research; however, precise lip-audio synchronization and high visual quality remain challenging in editing lip shapes based on input audio. This paper introduces JoyGen, a novel two-stage framework for talking-face generation, comprising audio-driven lip motion generation and visual appearance synthesis. In the first stage, a 3D reconstruction model and an audio2motion model predict identity and expression coefficients respectively. Next, by integrating audio features with a facial depth map, we provide comprehensive supervision for precise lip-audio synchronization in facial generation. Additionally, we constructed a Chinese talking-face dataset containing 130 hours of high-quality video. JoyGen is trained on the open-source HDTF dataset and our curated dataset. Experimental results demonstrate superior lip-audio synchronization and visual quality achieved by our method.