GenSync: A Generalized Talking Head Framework for Audio-driven Multi-Subject Lip-Sync using 3D Gaussian Splatting

📄 arXiv: 2505.01928v1 📥 PDF

作者: Anushka Agarwal, Muhammad Yusuf Hassan, Talha Chafekar

分类: cs.CV

发布日期: 2025-05-03

💡 一句话要点

GenSync：一种基于3D高斯溅射的通用说话人头部框架，用于音频驱动的多主体唇形同步

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 唇形同步 3D高斯溅射 多身份 解耦学习 说话人头部 音频驱动 视频合成

📋 核心要点

  1. 现有3D说话人头部模型通常需要为每个身份单独训练，计算成本高昂且效率低下。
  2. GenSync通过解耦身份特征和音频信息，学习一个统一网络，实现多身份的唇形同步视频合成。
  3. 实验表明，GenSync在保持高唇形同步精度和视觉质量的同时，训练速度比现有方法快6.8倍。

📝 摘要（中文）

我们提出了GenSync，一个新颖的框架，用于使用3D高斯溅射进行多身份唇形同步视频合成。与大多数现有的3D方法需要为每个身份训练一个新模型不同，GenSync学习一个统一的网络，该网络可以为多个说话人合成唇形同步视频。通过结合解耦模块，我们的方法将身份特定特征与音频表示分离，从而实现高效的多身份视频合成。这种设计降低了计算开销，与最先进的模型相比，训练速度提高了6.8倍，同时保持了高唇形同步精度和视觉质量。

🔬 方法详解

问题定义：论文旨在解决多身份说话人头部视频合成中，现有方法需要为每个身份单独训练模型所带来的计算开销大、效率低下的问题。现有方法难以泛化到新的身份，限制了其应用范围。

核心思路：GenSync的核心思路是学习一个统一的、与身份无关的网络，该网络能够根据输入的音频和身份信息，生成对应说话人的唇形同步视频。通过解耦身份特征和音频表示，网络可以更好地泛化到新的身份，避免了为每个身份单独训练模型的需要。

技术框架：GenSync框架主要包含以下模块：音频编码器（Audio Encoder）、解耦模块（Disentanglement Module）和3D高斯溅射渲染器（3D Gaussian Splatting Renderer）。音频编码器将输入的音频转换为音频特征表示；解耦模块将音频特征与身份信息分离，提取与身份无关的唇形运动信息；3D高斯溅射渲染器根据唇形运动信息和身份信息，生成最终的唇形同步视频。

关键创新：GenSync的关键创新在于解耦模块的设计。该模块能够有效地将音频特征中的身份信息移除，从而使网络能够学习到与身份无关的唇形运动规律。这种解耦设计使得网络能够更好地泛化到新的身份，避免了为每个身份单独训练模型的需要。

关键设计：解耦模块的具体实现方式未知，论文中可能使用了对抗训练或信息瓶颈等技术来强制网络学习与身份无关的特征表示。此外，3D高斯溅射渲染器的具体参数设置和损失函数的设计也对最终的视频质量和唇形同步精度有重要影响。这些细节需要在论文中进一步考察。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GenSync在多身份唇形同步视频合成任务上取得了显著的性能提升。实验结果表明，GenSync在保持高唇形同步精度和视觉质量的同时，训练速度比最先进的模型快6.8倍。这表明GenSync具有更高的效率和更好的泛化能力，能够有效地应用于实际场景。

🎯 应用场景

GenSync具有广泛的应用前景，例如虚拟助手、在线教育、游戏角色动画、电影特效等。它可以用于快速生成逼真的多身份说话人头部视频，提高用户体验和内容创作效率。该技术还可以应用于视频会议和远程协作，增强沟通的真实感和互动性。未来，GenSync有望成为虚拟现实和增强现实应用的重要组成部分。

📄 摘要（原文）

We introduce GenSync, a novel framework for multi-identity lip-synced video synthesis using 3D Gaussian Splatting. Unlike most existing 3D methods that require training a new model for each identity , GenSync learns a unified network that synthesizes lip-synced videos for multiple speakers. By incorporating a Disentanglement Module, our approach separates identity-specific features from audio representations, enabling efficient multi-identity video synthesis. This design reduces computational overhead and achieves 6.8x faster training compared to state-of-the-art models, while maintaining high lip-sync accuracy and visual quality.