MoDA: Multi-modal Diffusion Architecture for Talking Head Generation

📄 arXiv: 2507.03256v3 📥 PDF

作者: Xinyang Li, Gen Li, Zhihui Lin, Yichen Qian, GongXin Yao, Weinan Jia, Aowen Wang, Weihua Chen, Fan Wang

分类: cs.GR, cs.CV

发布日期: 2025-07-04 (更新: 2025-08-08)

备注: 12 pages, 7 figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

MoDA：用于生成说话人头像的多模态扩散架构

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 说话人头像生成 多模态扩散模型 Flow Matching 神经渲染 面部表情生成

📋 核心要点

  1. 现有基于VAE的扩散模型在说话人头像生成中存在推理效率低、视觉伪影以及面部表情不够真实等问题。
  2. MoDA通过联合参数空间和Flow Matching简化扩散学习，并引入多模态扩散架构增强面部表情的真实性。
  3. 实验结果表明，MoDA在视频多样性、真实性和效率方面均有提升，更适合实际应用。

📝 摘要（中文）

本文提出了一种用于生成具有任意身份和语音的说话人头像的多模态扩散架构（MoDA）。扩散模型在说话人头像生成领域展现出强大的生成能力，但基于变分自编码器（VAE）的隐空间导致推理效率低下和视觉伪影，同时多模态信息融合不足导致面部表情和头部运动不够真实。MoDA通过定义一个桥接运动生成和神经渲染的联合参数空间，并利用Flow Matching简化扩散学习来解决这些问题。此外，MoDA引入多模态扩散架构来建模噪声运动、音频和辅助条件之间的交互，从而增强面部表情的真实性。采用由粗到精的融合策略，逐步整合不同模态的信息，确保有效的特征融合。实验结果表明，MoDA提高了视频的多样性、真实性和效率，使其适用于实际应用。

🔬 方法详解

问题定义：说话人头像生成旨在根据给定的身份和语音音频生成逼真的说话人视频。现有方法，特别是基于扩散模型的方法，面临着两个主要挑战：一是基于VAE的隐空间导致推理效率低下和视觉伪影；二是多模态信息融合不足，导致生成的面部表情和头部运动不够自然和真实。

核心思路：MoDA的核心思路是通过定义一个联合参数空间来桥接运动生成和神经渲染，从而避免使用VAE的隐空间。同时，利用Flow Matching简化扩散学习过程，提高生成效率。此外，引入多模态扩散架构来建模运动、音频和辅助条件之间的复杂交互，从而生成更具表现力的面部动画。

技术框架：MoDA的整体架构包含以下几个主要模块：1) 运动生成模块：利用Flow Matching进行运动轨迹的扩散和逆扩散过程。2) 多模态融合模块：采用由粗到精的融合策略，逐步整合音频、运动和辅助条件等不同模态的信息。3) 神经渲染模块：将生成的运动轨迹和融合后的多模态特征渲染成最终的说话人视频。整个流程首先通过运动生成模块生成粗略的头部运动轨迹，然后通过多模态融合模块将音频和辅助信息融入到运动轨迹中，最后通过神经渲染模块生成逼真的说话人视频。

关键创新：MoDA的关键创新在于：1) 提出了一个联合参数空间，避免了使用VAE的隐空间，从而提高了推理效率并减少了视觉伪影。2) 引入了多模态扩散架构，能够有效地建模不同模态之间的复杂交互，从而生成更具表现力的面部动画。3) 采用了由粗到精的融合策略，能够逐步整合不同模态的信息，确保有效的特征融合。

关键设计：在运动生成模块中，使用了Flow Matching来简化扩散学习过程，并通过最小化Flow Matching Loss来训练模型。在多模态融合模块中，采用了注意力机制来动态地调整不同模态信息的权重。在神经渲染模块中，使用了可微分渲染技术，使得整个模型可以进行端到端的训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MoDA在生成视频的多样性、真实性和效率方面均优于现有方法。具体来说，MoDA在面部表情的自然度和头部运动的真实性方面取得了显著提升。相较于基线方法，MoDA生成的视频在用户评价指标上获得了更高的分数，并且推理速度更快，更适合实时应用。

🎯 应用场景

MoDA在虚拟化身、数字内容创作、在线教育、远程会议等领域具有广泛的应用前景。它可以用于创建逼真的虚拟人物，提升用户在虚拟环境中的沉浸感和交互体验。此外，MoDA还可以用于生成个性化的教育视频、会议录像等，提高信息传递的效率和趣味性。未来，MoDA有望成为元宇宙和数字经济的重要基础设施。

📄 摘要（原文）

Talking head generation with arbitrary identities and speech audio remains a crucial problem in the realm of the virtual metaverse. Recently, diffusion models have become a popular generative technique in this field with their strong generation capabilities. However, several challenges remain for diffusion-based methods: 1) inefficient inference and visual artifacts caused by the implicit latent space of Variational Auto-Encoders (VAE), which complicates the diffusion process; 2) a lack of authentic facial expressions and head movements due to inadequate multi-modal information fusion. In this paper, MoDA handles these challenges by: 1) defining a joint parameter space that bridges motion generation and neural rendering, and leveraging flow matching to simplify diffusion learning; 2) introducing a multi-modal diffusion architecture to model the interaction among noisy motion, audio, and auxiliary conditions, enhancing overall facial expressiveness. In addition, a coarse-to-fine fusion strategy is employed to progressively integrate different modalities, ensuring effective feature fusion. Experimental results demonstrate that MoDA improves video diversity, realism, and efficiency, making it suitable for real-world applications. Project Page: https://lixinyyang.github.io/MoDA.github.io/