AUEditNet: Dual-Branch Facial Action Unit Intensity Manipulation with Implicit Disentanglement

📄 arXiv: 2404.05063v2 📥 PDF

作者: Shiwei Jin, Zhen Wang, Lei Wang, Peng Liu, Ning Bi, Truong Nguyen

分类: cs.CV

发布日期: 2024-04-07 (更新: 2024-04-10)

💡 一句话要点

提出AUEditNet以解决面部动作单元强度操控问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 面部动作单元 强度操控 深度学习 双分支架构 表情合成 虚拟角色动画 人机交互

📋 核心要点

  1. 现有方法在面部动作单元强度操控中面临数据集样本不足和解耦问题的挑战。
  2. AUEditNet通过双分支架构实现面部属性和身份的全面解耦，克服了数据集限制。
  3. 实验结果显示，AUEditNet在AU强度编辑方面的准确性显著优于现有方法，验证了其有效性。

📝 摘要（中文）

面部动作单元（AU）强度在量化细粒度表情行为中起着关键作用，是面部表情操控的有效条件。然而，现有公开数据集中包含多AU强度注释的样本严重不足，且受限于被试数量，给AU强度操控带来了挑战。为了解决这一限制并充分利用AU强度的手动注释进行精确操控，本文提出了AUEditNet。该模型在仅使用18名被试的情况下，实现了对12个AU的强度操控，采用双分支架构，全面解耦面部属性和身份，无需额外损失函数或大批量训练。实验结果表明，AUEditNet在AU强度编辑方面具有优越的准确性，验证了其在有限被试池中解耦面部属性和身份的能力。

🔬 方法详解

问题定义：本文旨在解决面部动作单元强度操控中的数据集样本不足和解耦问题。现有方法通常依赖于有限的注释数据，导致操控效果不佳。

核心思路：AUEditNet采用双分支架构，能够在不需要额外损失函数的情况下，实现面部属性和身份的有效解耦，从而提高AU强度操控的精确度。

技术框架：模型由两个主要分支组成，一个用于处理面部属性，另一个用于处理身份信息。通过这种结构，模型能够独立地操控AU强度而不受数据集限制的影响。

关键创新：AUEditNet的核心创新在于其双分支架构设计，能够在仅使用少量被试的情况下，实现高效的AU强度操控，这与传统方法依赖大规模数据集的方式有本质区别。

关键设计：模型在训练过程中不依赖于大批量数据，且没有引入额外的损失函数，优化了训练效率和效果。

📊 实验亮点

实验结果表明，AUEditNet在AU强度编辑任务中相较于基线方法具有显著提升，准确性提高了XX%（具体数据待补充），验证了其在有限样本条件下的有效性和优越性。

🎯 应用场景

AUEditNet在面部表情合成、虚拟角色动画和人机交互等领域具有广泛的应用潜力。其高效的AU强度操控能力可以用于增强现实和社交媒体中的表情编辑，提升用户体验。未来，该技术可能推动情感计算和智能机器人领域的发展。

📄 摘要（原文）

Facial action unit (AU) intensity plays a pivotal role in quantifying fine-grained expression behaviors, which is an effective condition for facial expression manipulation. However, publicly available datasets containing intensity annotations for multiple AUs remain severely limited, often featuring a restricted number of subjects. This limitation places challenges to the AU intensity manipulation in images due to disentanglement issues, leading researchers to resort to other large datasets with pretrained AU intensity estimators for pseudo labels. In addressing this constraint and fully leveraging manual annotations of AU intensities for precise manipulation, we introduce AUEditNet. Our proposed model achieves impressive intensity manipulation across 12 AUs, trained effectively with only 18 subjects. Utilizing a dual-branch architecture, our approach achieves comprehensive disentanglement of facial attributes and identity without necessitating additional loss functions or implementing with large batch sizes. This approach offers a potential solution to achieve desired facial attribute editing despite the dataset's limited subject count. Our experiments demonstrate AUEditNet's superior accuracy in editing AU intensities, affirming its capability in disentangling facial attributes and identity within a limited subject pool. AUEditNet allows conditioning by either intensity values or target images, eliminating the need for constructing AU combinations for specific facial expression synthesis. Moreover, AU intensity estimation, as a downstream task, validates the consistency between real and edited images, confirming the effectiveness of our proposed AU intensity manipulation method.