LokiTalk: Learning Fine-Grained and Generalizable Correspondences to Enhance NeRF-based Talking Head Synthesis

📄 arXiv: 2411.19525v2 📥 PDF

作者: Tianqi Li, Ruobing Zheng, Bonan Li, Zicheng Zhang, Meng Wang, Jingdong Chen, Ming Yang

分类: cs.CV, cs.LG

发布日期: 2024-11-29 (更新: 2024-12-23)

备注: Project Page: https://digital-avatar.github.io/ai/LokiTalk/

💡 一句话要点

LokiTalk：学习细粒度和泛化的人脸对应关系，增强基于NeRF的说话头合成

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 说话头合成 神经辐射场 人脸动画 区域特定形变 知识迁移

📋 核心要点

  1. 基于NeRF的说话头合成面临视觉伪影和高训练成本的挑战，阻碍了其大规模商业应用。
  2. LokiTalk通过学习细粒度和可泛化的驱动信号与生成结果之间的对应关系来解决上述问题。
  3. LokiTalk在动态精度、伪影抑制和训练效率方面优于现有方法，实现了更高质量的说话头合成。

📝 摘要（中文）

本文提出LokiTalk，旨在提升基于神经辐射场（NeRF）的说话头合成效果，解决视觉伪影和高训练成本等大规模商业应用障碍。LokiTalk通过识别和建立驱动信号与生成结果之间细粒度且可泛化的对应关系，同时解决这两个问题。该框架引入了区域特定形变场，将整体人像运动分解为唇部运动、眼睛眨动、头部姿势和躯干运动。通过分层建模驱动信号及其相关区域，利用两个级联的形变场，显著提高了动态精度并最大限度地减少了合成伪影。此外，提出了身份感知知识迁移模块，该模块学习来自多身份视频的可泛化动态和静态对应关系，同时提取身份特定的动态和静态特征，以改进对个体角色的描绘。综合评估表明，与先前方法相比，LokiTalk提供了卓越的高保真结果和训练效率。代码将在接受后发布。

🔬 方法详解

问题定义：现有的基于NeRF的说话头合成方法通常存在视觉伪影，并且训练成本较高，难以进行大规模商业应用。这些方法难以建立驱动信号（例如音频或landmark）与生成的人脸动态之间的精确对应关系，尤其是在处理细微的面部表情时，容易出现不自然的运动和伪影。

核心思路：LokiTalk的核心思路是通过学习细粒度和可泛化的对应关系来提升说话头合成的质量和效率。具体来说，它将人脸运动分解为多个区域（例如嘴唇、眼睛、头部），并为每个区域建立独立的形变场，从而实现更精细的控制。此外，通过知识迁移，从多身份视频中学习通用的动态模式，并将其应用于特定身份的说话头合成，从而提高泛化能力。

技术框架：LokiTalk的整体框架包含两个主要模块：区域特定形变场（Region-Specific Deformation Fields）和身份感知知识迁移（ID-Aware Knowledge Transfer）。区域特定形变场负责将整体人像运动分解为多个区域的运动，并使用级联的形变场来建模这些运动。身份感知知识迁移模块则负责从多身份视频中学习通用的动态和静态特征，并将其与特定身份的特征相结合，以提高合成效果。

关键创新：LokiTalk的关键创新在于其细粒度的运动建模和知识迁移方法。区域特定形变场能够更精确地控制人脸的各个区域，从而减少伪影并提高动态精度。身份感知知识迁移则能够利用多身份数据来提高模型的泛化能力，使其能够更好地处理不同身份的说话头合成。

关键设计：区域特定形变场使用两个级联的形变场来建模运动，第一个形变场负责全局的头部姿势和躯干运动，第二个形变场则负责局部的面部表情（例如嘴唇和眼睛）。身份感知知识迁移模块使用一个编码器来提取多身份视频中的动态和静态特征，并使用一个解码器来将这些特征与特定身份的特征相结合。损失函数包括重建损失、对抗损失和正则化损失，以保证合成结果的质量和真实性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LokiTalk在说话头合成的质量和效率方面均优于现有方法。与基线方法相比，LokiTalk在视觉质量指标（如PSNR和SSIM）上取得了显著提升，并且训练时间也大幅缩短。此外，LokiTalk在处理不同身份和表情时表现出良好的泛化能力。

🎯 应用场景

LokiTalk具有广泛的应用前景，包括虚拟主播、数字人、在线教育、电影特效、游戏开发等领域。它可以用于创建逼真且个性化的虚拟角色，提升用户体验，降低制作成本。未来，该技术有望应用于实时通信、虚拟现实和增强现实等领域，实现更加沉浸式的交互体验。

📄 摘要（原文）

Despite significant progress in talking head synthesis since the introduction of Neural Radiance Fields (NeRF), visual artifacts and high training costs persist as major obstacles to large-scale commercial adoption. We propose that identifying and establishing fine-grained and generalizable correspondences between driving signals and generated results can simultaneously resolve both problems. Here we present LokiTalk, a novel framework designed to enhance NeRF-based talking heads with lifelike facial dynamics and improved training efficiency. To achieve fine-grained correspondences, we introduce Region-Specific Deformation Fields, which decompose the overall portrait motion into lip movements, eye blinking, head pose, and torso movements. By hierarchically modeling the driving signals and their associated regions through two cascaded deformation fields, we significantly improve dynamic accuracy and minimize synthetic artifacts. Furthermore, we propose ID-Aware Knowledge Transfer, a plug-and-play module that learns generalizable dynamic and static correspondences from multi-identity videos, while simultaneously extracting ID-specific dynamic and static features to refine the depiction of individual characters. Comprehensive evaluations demonstrate that LokiTalk delivers superior high-fidelity results and training efficiency compared to previous methods. The code will be released upon acceptance.