Efficient Few-shot Identity Preserving Attribute Editing for 3D-aware Deep Generative Models
作者: Vishal Vinod
分类: cs.CV, cs.LG
发布日期: 2025-10-21
备注: 14 pages, 7 figures
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出一种高效的少样本3D人脸属性编辑方法，保持身份一致性。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 3D人脸编辑 少样本学习 深度生成模型 属性编辑 身份保持
📋 核心要点
- 现有3D人脸属性编辑方法需要大量标注数据，且在高分辨率和编辑灵活性之间存在权衡。
- 该方法通过少量标注样本学习潜在空间中的编辑方向，实现高效的3D人脸属性编辑。
- 实验证明，仅需少量样本即可实现身份保持的3D人脸属性编辑，并探索了连续风格流形。
📝 摘要（中文）
本文提出了一种用于3D感知深度生成模型的高效少样本身份保持属性编辑方法。人脸属性编辑是一项生成任务，可以在保持人脸身份的同时修改光照、添加/移除眼镜、进行人脸老化、编辑发型、修改表情等。虽然2D生成模型已经可以通过利用GAN的组合性实现逼真的人脸编辑，但对于3D人脸，在保持身份的同时进行属性编辑仍然具有挑战性，因为生成模型必须考虑多姿态下的视图一致性并渲染逼真的3D人脸。此外，3D人像编辑需要大规模的属性标注数据集，并且在高分辨率下的可编辑性和低分辨率下的灵活性之间存在权衡。本文旨在通过识别潜在空间中对应于逼真编辑的方向，来缓解编辑3D人脸的一些约束。我们利用3D感知深度生成模型和2D人像编辑技术的最新进展，实现了高效的少样本身份保持属性编辑。实验结果表明，仅使用十个或更少的属性标注图像就足以估计潜在空间中的编辑方向，从而实现3D感知属性编辑。我们利用现有的带mask的人脸数据集来获取估计编辑方向所需的少量属性示例的合成图像。此外，为了展示编辑的线性，我们通过执行顺序编辑来研究一次性风格化，并使用(2D)属性风格操作(ASM)技术来研究3D一致的身份保持人脸老化的连续风格流形。
🔬 方法详解
问题定义：现有3D人脸属性编辑方法面临两个主要痛点：一是需要大规模的属性标注数据集，获取成本高昂；二是高分辨率模型的可编辑性较差，而低分辨率模型的编辑灵活性不足。因此，如何在少量样本下实现高分辨率、身份保持且可控的3D人脸属性编辑是一个亟待解决的问题。
核心思路：本文的核心思路是利用少量标注样本，学习3D感知深度生成模型潜在空间中对应于特定属性编辑的向量方向。通过在潜在空间中沿着这些方向进行移动，可以实现对3D人脸的属性编辑，同时保持人脸的身份信息。这种方法利用了生成模型的潜在空间表征能力，避免了直接在图像空间进行操作，从而提高了编辑的效率和真实感。
技术框架：该方法的技术框架主要包括以下几个步骤：1) 利用现有的带mask的人脸数据集，合成少量带有特定属性标注的图像；2) 利用这些少量样本，训练或微调一个3D感知深度生成模型，使其能够生成具有目标属性的人脸；3) 在生成模型的潜在空间中，寻找对应于目标属性的编辑方向；4) 通过在潜在空间中沿着这些方向进行移动，实现对3D人脸的属性编辑。
关键创新：该方法最重要的技术创新点在于，它能够在仅有少量标注样本的情况下，学习到3D感知深度生成模型潜在空间中对应于特定属性编辑的向量方向。这使得在低数据量的情况下进行高质量的3D人脸属性编辑成为可能。与现有方法相比，该方法显著降低了对标注数据的需求，提高了编辑的效率和灵活性。
关键设计：在关键设计方面，该方法利用了现有的带mask的人脸数据集来生成合成图像，从而降低了对真实标注数据的依赖。此外，该方法还探索了利用属性风格操作(ASM)技术来研究3D一致的身份保持人脸老化的连续风格流形，从而实现了更加精细和可控的属性编辑。
🖼️ 关键图片
📊 实验亮点
实验结果表明，仅使用十个或更少的属性标注图像，该方法就能够有效地估计潜在空间中的编辑方向，从而实现身份保持的3D人脸属性编辑。此外，该方法还通过实验验证了编辑的线性，并探索了利用属性风格操作(ASM)技术来研究3D一致的身份保持人脸老化的连续风格流形。
🎯 应用场景
该研究成果可广泛应用于虚拟现实、增强现实、游戏开发、电影制作等领域。例如，可以用于创建个性化的3D虚拟形象，实现逼真的人脸老化效果，或者在游戏中对角色进行定制化的属性编辑。此外，该技术还可以应用于人脸识别和身份验证等安全领域，提高系统的鲁棒性和安全性。
📄 摘要（原文）
Identity preserving editing of faces is a generative task that enables modifying the illumination, adding/removing eyeglasses, face aging, editing hairstyles, modifying expression etc., while preserving the identity of the face. Recent progress in 2D generative models have enabled photorealistic editing of faces using simple techniques leveraging the compositionality in GANs. However, identity preserving editing for 3D faces with a given set of attributes is a challenging task as the generative model must reason about view consistency from multiple poses and render a realistic 3D face. Further, 3D portrait editing requires large-scale attribute labelled datasets and presents a trade-off between editability in low-resolution and inflexibility to editing in high resolution. In this work, we aim to alleviate some of the constraints in editing 3D faces by identifying latent space directions that correspond to photorealistic edits. To address this, we present a method that builds on recent advancements in 3D-aware deep generative models and 2D portrait editing techniques to perform efficient few-shot identity preserving attribute editing for 3D-aware generative models. We aim to show from experimental results that using just ten or fewer labelled images of an attribute is sufficient to estimate edit directions in the latent space that correspond to 3D-aware attribute editing. In this work, we leverage an existing face dataset with masks to obtain the synthetic images for few attribute examples required for estimating the edit directions. Further, to demonstrate the linearity of edits, we investigate one-shot stylization by performing sequential editing and use the (2D) Attribute Style Manipulation (ASM) technique to investigate a continuous style manifold for 3D consistent identity preserving face aging. Code and results are available at: https://vishal-vinod.github.io/gmpi-edit/