Efficient Listener: Dyadic Facial Motion Synthesis via Action Diffusion

📄 arXiv: 2504.20685v1 📥 PDF

作者: Zesheng Wang, Alexandre Bruckert, Patrick Le Callet, Guangtao Zhai

分类: cs.CV, cs.HC

发布日期: 2025-04-29

💡 一句话要点

提出基于扩散模型的面部动作生成方法，高效合成对话场景中听者的面部表情。

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 面部动作生成 扩散模型 双人对话 听者表情 实时交互

📋 核心要点

  1. 现有方法依赖3DMM系数建模，计算复杂度高，难以满足实时交互的需求，成为生成听者面部动作的瓶颈。
  2. 论文提出面部动作扩散（FAD）方法，借鉴图像生成领域的扩散模型，直接生成面部动作，提高生成效率。
  3. 构建Efficient Listener Network（ELNet），有效融合说话者的视觉和音频信息，实验表明该方法在性能上超越现有方法，并显著降低计算时间。

📝 摘要（中文）

在双人对话中生成逼真的听者面部动作仍然具有挑战性，这主要是由于高维动作空间和时间依赖性要求。现有方法通常考虑提取3D形变模型（3DMM）系数并在3DMM空间中建模。然而，这使得3DMM的计算速度成为瓶颈，难以实现实时交互响应。为了解决这个问题，我们提出了面部动作扩散（FAD），它将图像生成领域的扩散方法引入到面部动作生成中，以实现高效的面部动作生成。我们进一步构建了专门设计的Efficient Listener Network（ELNet），以适应说话者的视觉和音频信息作为输入。考虑到FAD和ELNet，所提出的方法学习有效的听者面部动作表示，并在性能上优于最先进的方法，同时减少99%的计算时间。

🔬 方法详解

问题定义：论文旨在解决双人对话场景中，高效生成逼真听者面部动作的问题。现有方法主要依赖于3DMM模型，通过提取和操作3DMM系数来生成面部表情。然而，3DMM模型的计算复杂度较高，严重限制了生成速度，难以满足实时交互应用的需求。因此，如何降低计算成本，同时保证生成面部表情的真实性和自然性，是本论文要解决的核心问题。

核心思路：论文的核心思路是将图像生成领域中表现出色的扩散模型引入到面部动作生成任务中。扩散模型通过逐步添加噪声，然后学习如何逆向去噪的过程，从而实现高质量的图像生成。借鉴这一思想，论文直接在面部动作空间中应用扩散模型，避免了对3DMM的依赖，从而显著降低了计算复杂度。同时，为了更好地利用说话者的信息，论文设计了专门的网络结构来融合视觉和音频特征。

技术框架：整体框架包含两个主要组成部分：Efficient Listener Network (ELNet) 和 Facial Action Diffusion (FAD)。ELNet负责提取说话者的视觉和音频特征，并将其作为FAD的条件输入。FAD则是一个基于扩散模型的生成器，它以ELNet提取的特征为条件，逐步生成听者的面部动作。整个流程可以概括为：首先，ELNet接收说话者的视觉和音频信息，提取相应的特征表示；然后，这些特征被传递给FAD，作为扩散过程的条件；最后，FAD通过逆向扩散过程，逐步生成逼真的听者面部动作。

关键创新：论文最关键的创新在于将扩散模型应用于面部动作生成任务。与现有方法相比，该方法不再依赖于3DMM模型，而是直接在面部动作空间中进行生成，从而显著降低了计算复杂度，提高了生成效率。此外，ELNet的设计也充分考虑了说话者视觉和音频信息的重要性，通过有效融合这些信息，提高了生成面部动作的真实性和自然性。

关键设计：ELNet采用了多模态融合的策略，分别处理说话者的视觉和音频信息，然后将提取的特征进行融合。FAD则采用了标准的扩散模型架构，包括前向扩散过程和逆向去噪过程。在前向扩散过程中，逐步向面部动作添加高斯噪声；在逆向去噪过程中，通过学习一个神经网络来预测噪声，并逐步从噪声中恢复出原始的面部动作。损失函数方面，采用了标准的扩散模型损失函数，即预测噪声与真实噪声之间的均方误差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的方法在生成听者面部动作方面取得了显著的性能提升。与现有最先进的方法相比，该方法在保证生成质量的前提下，计算时间减少了99%。这使得该方法能够满足实时交互应用的需求。此外，实验还表明，ELNet能够有效融合说话者的视觉和音频信息，从而提高生成面部动作的真实性和自然性。

🎯 应用场景

该研究成果可广泛应用于虚拟会议、在线教育、游戏互动等领域。通过实时生成逼真的听者面部表情，可以显著提升用户在这些应用中的沉浸感和交互体验。此外，该技术还可以应用于虚拟角色的创建和动画制作，为相关行业带来更高的效率和更低的成本。未来，该技术有望进一步发展，实现更加自然和个性化的面部表情生成，为人机交互带来更广阔的应用前景。

📄 摘要（原文）

Generating realistic listener facial motions in dyadic conversations remains challenging due to the high-dimensional action space and temporal dependency requirements. Existing approaches usually consider extracting 3D Morphable Model (3DMM) coefficients and modeling in the 3DMM space. However, this makes the computational speed of the 3DMM a bottleneck, making it difficult to achieve real-time interactive responses. To tackle this problem, we propose Facial Action Diffusion (FAD), which introduces the diffusion methods from the field of image generation to achieve efficient facial action generation. We further build the Efficient Listener Network (ELNet) specially designed to accommodate both the visual and audio information of the speaker as input. Considering of FAD and ELNet, the proposed method learns effective listener facial motion representations and leads to improvements of performance over the state-of-the-art methods while reducing 99% computational time.