NeRF-3DTalker: Neural Radiance Field with 3D Prior Aided Audio Disentanglement for Talking Head Synthesis

📄 arXiv: 2502.14178v1 📥 PDF

作者: Xiaoxing Liu, Zhilei Liu, Chongke Bi

分类: cs.GR, cs.CV, cs.MM, cs.SD, eess.AS

发布日期: 2025-02-20

备注: Accepted by ICASSP 2025

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

NeRF-3DTalker：利用3D先验和音频解耦实现自由视角逼真说话头合成

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 说话头合成 3D先验 音频解耦 唇音同步 自由视角 音视频对齐

📋 核心要点

  1. 现有基于NeRF的说话头合成方法主要关注正面人脸渲染，难以生成新视角的清晰说话头。
  2. NeRF-3DTalker利用3D先验信息，并解耦音频特征，从而实现自由视角的说话头合成。
  3. 实验结果表明，该方法在图像质量和唇音同步方面均优于现有技术，实现了更逼真的说话头视频合成。

📝 摘要（中文）

本文提出了一种名为NeRF-3DTalker的神经辐射场方法，旨在解决说话头合成中视角受限和音视频空间不对齐的问题。该方法利用3D先验信息合成自由视角的清晰说话头。此外，提出了一个3D先验辅助的音频解耦模块，将音频解耦为与3D相关的语音运动特征和与说话风格相关的特征。为了重新定位生成的、偏离说话者真实运动空间的帧，设计了一个局部-全局标准化空间，从全局和局部语义角度标准化生成帧中的不规则位置。实验结果表明，NeRF-3DTalker在合成逼真的说话头视频方面优于现有技术，展现出卓越的图像质量和唇音同步效果。

🔬 方法详解

问题定义：现有的基于NeRF的说话头合成方法主要存在两个问题：一是视角受限，难以生成新视角的清晰说话头；二是音视频空间不对齐，导致唇音同步效果不佳。这些问题限制了说话头合成的真实感和应用范围。

核心思路：NeRF-3DTalker的核心思路是利用3D先验信息来约束NeRF的训练，从而实现自由视角的说话头合成。同时，通过音频解耦模块，将音频信息分解为与3D相关的语音运动特征和与说话风格相关的特征，从而更好地对齐音视频空间，提升唇音同步效果。此外，还引入了局部-全局标准化空间，以校正生成帧的位置，使其更符合真实空间分布。

技术框架：NeRF-3DTalker的整体框架包括以下几个主要模块：1) 3D先验模块：利用3DMM等先验知识，提供人脸的形状和姿态信息；2) 音频解耦模块：将输入的音频信号解耦为语音运动特征和说话风格特征；3) NeRF渲染模块：基于3D先验和解耦后的音频特征，渲染生成说话头视频帧；4) 局部-全局标准化空间：对生成的视频帧进行位置校正，使其更符合真实空间分布。

关键创新：NeRF-3DTalker的关键创新在于以下几个方面：1) 引入3D先验信息，解决了现有方法视角受限的问题；2) 提出音频解耦模块，有效提升了唇音同步效果；3) 设计局部-全局标准化空间，进一步提高了生成视频的真实感。这些创新使得NeRF-3DTalker在自由视角说话头合成方面取得了显著的提升。

关键设计：音频解耦模块的具体实现方式未知，但推测可能采用了类似VAE的结构，将音频编码为隐空间向量，然后通过解耦器将其分解为语音运动特征和说话风格特征。局部-全局标准化空间的具体实现方式也未知，但推测可能采用了对抗学习或自监督学习的方法，学习真实说话头视频的空间分布，然后将生成的视频帧映射到该空间。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了NeRF-3DTalker的有效性。实验结果表明，该方法在图像质量和唇音同步方面均优于现有技术。具体的性能数据和对比基线未知，但摘要强调了其在合成逼真说话头视频方面的优越性，以及卓越的图像质量和唇音同步效果。

🎯 应用场景

NeRF-3DTalker具有广泛的应用前景，例如虚拟主播、在线教育、视频会议、数字人等。该技术可以生成高度逼真的说话头视频，提升用户体验和互动性。未来，该技术还可以应用于电影制作、游戏开发等领域，创造更具沉浸感的视听体验。

📄 摘要（原文）

Talking head synthesis is to synthesize a lip-synchronized talking head video using audio. Recently, the capability of NeRF to enhance the realism and texture details of synthesized talking heads has attracted the attention of researchers. However, most current NeRF methods based on audio are exclusively concerned with the rendering of frontal faces. These methods are unable to generate clear talking heads in novel views. Another prevalent challenge in current 3D talking head synthesis is the difficulty in aligning acoustic and visual spaces, which often results in suboptimal lip-syncing of the generated talking heads. To address these issues, we propose Neural Radiance Field with 3D Prior Aided Audio Disentanglement for Talking Head Synthesis (NeRF-3DTalker). Specifically, the proposed method employs 3D prior information to synthesize clear talking heads with free views. Additionally, we propose a 3D Prior Aided Audio Disentanglement module, which is designed to disentangle the audio into two distinct categories: features related to 3D awarded speech movements and features related to speaking style. Moreover, to reposition the generated frames that are distant from the speaker's motion space in the real space, we have devised a local-global Standardized Space. This method normalizes the irregular positions in the generated frames from both global and local semantic perspectives. Through comprehensive qualitative and quantitative experiments, it has been demonstrated that our NeRF-3DTalker outperforms state-of-the-art in synthesizing realistic talking head videos, exhibiting superior image quality and lip synchronization. Project page: https://nerf-3dtalker.github.io/NeRF-3Dtalker.