MemoryTalker: Personalized Speech-Driven 3D Facial Animation via Audio-Guided Stylization

📄 arXiv: 2507.20562v2 📥 PDF

作者: Hyung Kyu Kim, Sangmin Lee, Hak Gu Kim

分类: cs.CV, cs.AI

发布日期: 2025-07-28 (更新: 2025-08-25)

备注: Accepted in ICCV 2025; Project Page: https://cau-irislab.github.io/ICCV25-MemoryTalker/

💡 一句话要点

MemoryTalker：通过音频引导的风格化实现个性化语音驱动的3D面部动画

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 语音驱动 3D面部动画 个性化 风格化 深度学习

📋 核心要点

  1. 现有语音驱动的3D面部动画方法通常需要说话者的类别标签或额外的3D面部网格等先验信息，限制了其在实际应用中的效果。
  2. MemoryTalker通过两阶段训练，首先记忆通用面部运动，然后利用音频引导的风格化特征进行个性化面部运动合成，从而解决上述问题。
  3. 实验结果表明，MemoryTalker在个性化面部动画生成方面优于现有方法，无需额外的先验信息，且用户研究也验证了其有效性。

📝 摘要（中文）

本文提出MemoryTalker，旨在仅通过音频输入，反映说话风格，从而实现逼真且准确的3D面部运动合成，最大化应用可用性。该框架包含两个训练阶段：第一阶段存储和检索通用运动（即记忆）；第二阶段利用音频驱动的说话风格特征对运动记忆进行风格化，从而执行个性化的面部运动合成（即动画）。在第二阶段，模型学习对于特定音频片段，应该强调哪些面部运动类型。因此，MemoryTalker无需额外的先验信息即可生成可靠的个性化面部动画。通过定量和定性评估以及用户研究，证明了该模型的有效性以及其在个性化面部动画方面优于现有方法的性能。

🔬 方法详解

问题定义：现有语音驱动的3D面部动画方法通常依赖于说话人的类别标签或额外的3D面部网格等先验信息，这限制了它们在实际应用中的泛化能力和个性化表达能力。这些方法难以捕捉到不同说话者的独特风格，并且在推理阶段需要额外的信息，增加了使用的复杂性。

核心思路：MemoryTalker的核心思路是将面部动画生成过程分解为两个阶段：首先，模型学习并记忆通用的面部运动模式；然后，利用音频信息对这些运动模式进行风格化，从而生成个性化的面部动画。这种分离的设计允许模型在没有额外先验信息的情况下，捕捉到说话者的独特风格。

技术框架：MemoryTalker框架包含两个主要的训练阶段：1) 记忆阶段：模型学习存储和检索通用的面部运动模式。这部分可能涉及到自编码器或类似的结构，用于学习面部运动的潜在表示。2) 动画阶段：模型利用音频驱动的说话风格特征对记忆阶段学习到的运动模式进行风格化，从而生成个性化的面部动画。这个阶段可能包含一个风格化模块，该模块接收音频特征和运动潜在表示作为输入，并输出风格化的运动表示。

关键创新：MemoryTalker的关键创新在于其两阶段的训练策略和音频引导的风格化方法。与现有方法相比，MemoryTalker不需要额外的先验信息，并且能够更好地捕捉到说话者的独特风格。通过将通用运动学习和个性化风格化分离，模型可以更有效地学习和生成逼真的面部动画。

关键设计：具体的网络结构和损失函数细节未知，但可以推测：记忆阶段可能使用自编码器结构，损失函数包括重构损失和潜在空间正则化项。动画阶段的风格化模块可能使用注意力机制或类似的方法，以允许模型根据音频信息选择性地强调不同的面部运动类型。音频特征提取可能使用预训练的语音识别模型或声学特征提取器。具体的参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过定量和定性评估以及用户研究，验证了MemoryTalker的有效性。实验结果表明，MemoryTalker在个性化面部动画生成方面优于现有方法，能够生成更逼真、更符合说话者风格的面部动画。用户研究也表明，用户更喜欢MemoryTalker生成的面部动画，认为其更自然、更具表现力。具体的性能提升幅度未知。

🎯 应用场景

MemoryTalker在虚拟形象生成、在线会议、游戏开发、电影制作等领域具有广泛的应用前景。它可以用于创建更逼真、更具表现力的虚拟角色，提升用户在虚拟环境中的交互体验。此外，该技术还可以用于辅助语音治疗和语言学习，帮助用户更好地理解和掌握语音表达。

📄 摘要（原文）

Speech-driven 3D facial animation aims to synthesize realistic facial motion sequences from given audio, matching the speaker's speaking style. However, previous works often require priors such as class labels of a speaker or additional 3D facial meshes at inference, which makes them fail to reflect the speaking style and limits their practical use. To address these issues, we propose MemoryTalker which enables realistic and accurate 3D facial motion synthesis by reflecting speaking style only with audio input to maximize usability in applications. Our framework consists of two training stages: 1-stage is storing and retrieving general motion (i.e., Memorizing), and 2-stage is to perform the personalized facial motion synthesis (i.e., Animating) with the motion memory stylized by the audio-driven speaking style feature. In this second stage, our model learns about which facial motion types should be emphasized for a particular piece of audio. As a result, our MemoryTalker can generate a reliable personalized facial animation without additional prior information. With quantitative and qualitative evaluations, as well as user study, we show the effectiveness of our model and its performance enhancement for personalized facial animation over state-of-the-art methods.