FFaceNeRF: Few-shot Face Editing in Neural Radiance Fields

📄 arXiv: 2503.17095v1 📥 PDF

作者: Kwan Yun, Chaelin Kim, Hangyeul Shin, Junyong Noh

分类: cs.GR, cs.AI, cs.CV

发布日期: 2025-03-21

备注: CVPR2025, 11 pages, 14 figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

FFaceNeRF：基于NeRF的少样本人脸编辑，提升用户控制和图像质量

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 人脸编辑 少样本学习 几何适配器 特征注入

📋 核心要点

  1. 现有基于NeRF的人脸编辑方法依赖预训练分割掩码，用户控制受限，难以适应新的掩码布局。
  2. FFaceNeRF通过几何适配器和特征注入实现几何属性的有效操纵，并采用潜在混合进行少样本训练。
  3. 实验表明，FFaceNeRF在灵活性、控制性和图像质量上超越现有方法，为定制化人脸编辑提供新方案。

📝 摘要（中文）

本文提出FFaceNeRF，一种基于神经辐射场（NeRF）的人脸编辑技术，旨在克服现有方法因使用预训练分割掩码而导致的用户控制受限问题。FFaceNeRF采用带有特征注入的几何适配器，从而能够有效地操纵几何属性。此外，该方法采用潜在混合进行三平面增强，从而能够使用少量样本进行训练。这有助于模型快速适应所需的掩码布局，这对于个性化医疗成像或创意人脸编辑等领域的应用至关重要。对比实验表明，FFaceNeRF在灵活性、控制性和生成图像质量方面均优于现有的基于掩码的人脸编辑方法，为定制化和高保真3D人脸编辑的未来发展铺平了道路。

🔬 方法详解

问题定义：现有基于NeRF的人脸编辑方法依赖于预训练的分割掩码，这限制了用户对编辑区域的控制。为了利用具有所需布局的掩码，需要大量的训练数据集，而收集这些数据集非常具有挑战性。因此，如何实现基于少量样本的、用户可控的、高质量的人脸编辑是本文要解决的核心问题。

核心思路：FFaceNeRF的核心思路是解耦人脸的几何和纹理信息，并设计一个几何适配器来控制几何属性的编辑。通过特征注入，将掩码信息融入到NeRF的训练过程中，从而实现对特定区域的精确控制。此外，利用潜在混合进行三平面增强，从而在少量样本下也能训练出鲁棒的模型。

技术框架：FFaceNeRF的整体框架基于NeRF，主要包含以下几个模块：1) NeRF模型：用于人脸的3D重建和渲染；2) 几何适配器：用于操纵人脸的几何属性，例如形状和姿态；3) 特征注入模块：将掩码信息注入到NeRF的特征空间中，从而实现对特定区域的控制；4) 潜在混合模块：用于增强训练数据，提高模型的泛化能力。训练过程包括：首先使用少量样本训练NeRF模型，然后训练几何适配器和特征注入模块，最后使用潜在混合进行微调。

关键创新：FFaceNeRF的关键创新在于：1) 提出了几何适配器，能够有效地操纵人脸的几何属性；2) 采用了特征注入，实现了对特定区域的精确控制；3) 利用潜在混合进行三平面增强，解决了少样本训练的问题。与现有方法相比，FFaceNeRF能够更好地适应新的掩码布局，并生成更高质量的编辑图像。

关键设计：几何适配器采用MLP结构，输入是NeRF的隐式表示，输出是几何形变的参数。特征注入模块将掩码信息编码成特征向量，并将其添加到NeRF的特征空间中。潜在混合模块通过混合不同的潜在向量来生成新的训练样本。损失函数包括重建损失、正则化损失和对抗损失。具体参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FFaceNeRF在灵活性、控制性和生成图像质量方面均优于现有的基于掩码的人脸编辑方法。具体性能数据未知，但定性结果显示，FFaceNeRF能够生成更逼真、更符合用户意图的人脸编辑图像。该方法在少样本情况下也能取得良好的效果，这使其在实际应用中更具优势。

🎯 应用场景

FFaceNeRF具有广泛的应用前景，包括个性化医疗成像（例如，模拟整形手术效果）、创意人脸编辑（例如，生成具有特定风格的人脸图像）、虚拟现实和增强现实（例如，创建逼真的虚拟化身）等。该技术能够帮助用户更好地控制人脸编辑过程，并生成高质量的编辑结果，从而提升用户体验和创造力。

📄 摘要（原文）

Recent 3D face editing methods using masks have produced high-quality edited images by leveraging Neural Radiance Fields (NeRF). Despite their impressive performance, existing methods often provide limited user control due to the use of pre-trained segmentation masks. To utilize masks with a desired layout, an extensive training dataset is required, which is challenging to gather. We present FFaceNeRF, a NeRF-based face editing technique that can overcome the challenge of limited user control due to the use of fixed mask layouts. Our method employs a geometry adapter with feature injection, allowing for effective manipulation of geometry attributes. Additionally, we adopt latent mixing for tri-plane augmentation, which enables training with a few samples. This facilitates rapid model adaptation to desired mask layouts, crucial for applications in fields like personalized medical imaging or creative face editing. Our comparative evaluations demonstrate that FFaceNeRF surpasses existing mask based face editing methods in terms of flexibility, control, and generated image quality, paving the way for future advancements in customized and high-fidelity 3D face editing. The code is available on the {\href{https://kwanyun.github.io/FFaceNeRF_page/}{project-page}}.