LatRef-Diff: Latent and Reference-Guided Diffusion for Facial Attribute Editing and Style Manipulation
作者: Wenmin Huang, Weiqi Luo, Xiaochun Cao, Jiwu Huang
分类: cs.CV
发布日期: 2026-04-23
💡 一句话要点
LatRef-Diff：基于潜在空间和参考引导的扩散模型，用于面部属性编辑和风格迁移
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 面部属性编辑 风格迁移 扩散模型 潜在空间 参考引导
📋 核心要点
- 现有面部属性编辑方法难以在精确控制目标属性的同时，避免修改不相关的面部特征，且GAN训练不稳定。
- LatRef-Diff利用扩散模型，通过潜在空间和参考图像引导生成风格编码，实现更灵活和精确的风格迁移。
- 提出的前向-后向一致性训练策略，无需配对数据即可稳定训练，并在CelebA-HQ数据集上取得了SOTA性能。
📝 摘要（中文）
面部属性编辑和风格迁移对于虚拟化身和照片编辑等应用至关重要。然而，由于面部结构的复杂性和属性之间的强相关性，在不改变无关特征的情况下精确控制面部属性极具挑战性。虽然条件GAN在这方面取得了一些进展，但它们受到准确性问题和训练不稳定性的限制。扩散模型虽然有前景，但由于语义方向的表达能力有限，在风格迁移方面面临挑战。本文提出了LatRef-Diff，一种新颖的基于扩散的框架，旨在解决这些限制。我们用风格代码替换了扩散模型中传统的语义方向，并提出了两种生成它们的方法：潜在引导和参考引导。基于这些风格代码，我们设计了一个风格调制模块，将其集成到目标图像中，从而实现随机和定制的风格迁移。该模块结合了可学习向量、交叉注意力机制和分层设计，以提高准确性和图像质量。此外，为了增强训练稳定性，同时消除对配对图像（例如，编辑前和编辑后）的需求，我们提出了一种前向-后向一致性训练策略。该策略首先使用图像特定的语义方向近似地移除目标属性，然后通过风格调制恢复它，并由感知损失和分类损失引导。在CelebA-HQ上的大量实验表明，LatRef-Diff在定性和定量评估中都达到了最先进的性能。消融研究验证了我们模型设计选择的有效性。
🔬 方法详解
问题定义：论文旨在解决面部属性编辑和风格迁移中，现有方法难以精确控制属性、GAN训练不稳定以及扩散模型风格表达能力有限的问题。现有方法容易修改不相关的面部特征，且对风格的控制不够灵活和精确。
核心思路：论文的核心思路是利用扩散模型强大的生成能力，并引入风格编码来控制生成过程。通过潜在空间和参考图像引导生成风格编码，从而实现对目标图像的风格迁移。这种方法可以更灵活地控制风格，并避免修改不相关的面部特征。
技术框架：LatRef-Diff框架主要包含以下几个模块：1) 风格编码生成模块：通过潜在空间或参考图像生成风格编码。2) 风格调制模块：将风格编码集成到扩散模型的去噪过程中，从而影响生成图像的风格。3) 前向-后向一致性训练策略：用于稳定训练，无需配对数据。整体流程是，首先使用图像特定的语义方向近似地移除目标属性，然后通过风格调制恢复它，并由感知损失和分类损失引导。
关键创新：论文的关键创新在于：1) 提出了基于潜在空间和参考图像的风格编码生成方法，增强了风格控制的灵活性和精确性。2) 设计了风格调制模块，将风格编码有效地集成到扩散模型的去噪过程中。3) 提出了前向-后向一致性训练策略，无需配对数据即可稳定训练。
关键设计：风格调制模块采用了可学习向量、交叉注意力机制和分层设计，以提高准确性和图像质量。前向-后向一致性训练策略使用感知损失和分类损失来引导训练，确保生成图像的质量和属性的准确性。具体的损失函数包括L1损失、L2损失、感知损失和分类损失。
🖼️ 关键图片
📊 实验亮点
LatRef-Diff在CelebA-HQ数据集上取得了SOTA性能，在面部属性编辑和风格迁移任务中，相比现有方法，在图像质量、属性控制的准确性和风格迁移的灵活性方面均有显著提升。消融实验验证了风格编码生成方法、风格调制模块和前向-后向一致性训练策略的有效性。
🎯 应用场景
该研究成果可应用于虚拟化身生成、照片编辑、人脸美化等领域。例如，用户可以通过上传一张参考图像，将自己的照片风格迁移到参考图像的风格，或者通过调整风格编码，实现对人脸属性的精确控制。该技术具有广泛的应用前景，可以提升用户在图像处理方面的体验。
📄 摘要（原文）
Facial attribute editing and style manipulation are crucial for applications like virtual avatars and photo editing. However, achieving precise control over facial attributes without altering unrelated features is challenging due to the complexity of facial structures and the strong correlations between attributes. While conditional GANs have shown progress, they are limited by accuracy issues and training instability. Diffusion models, though promising, face challenges in style manipulation due to the limited expressiveness of semantic directions. In this paper, we propose LatRef-Diff, a novel diffusion-based framework that addresses these limitations. We replace the traditional semantic directions in diffusion models with style codes and propose two methods for generating them: latent and reference guidance. Based on these style codes, we design a style modulation module that integrates them into the target image, enabling both random and customized style manipulation. This module incorporates learnable vectors, cross-attention mechanisms, and a hierarchical design to improve accuracy and image quality. Additionally, to enhance training stability while eliminating the need for paired images (e.g., before and after editing), we propose a forward-backward consistency training strategy. This strategy first removes the target attribute approximately using image-specific semantic directions and then restores it via style modulation, guided by perceptual and classification losses. Extensive experiments on CelebA-HQ demonstrate that LatRef-Diff achieves state-of-the-art performance in both qualitative and quantitative evaluations. Ablation studies validate the effectiveness of our model's design choices.