Face-LLaVA: Facial Expression and Attribute Understanding through Instruction Tuning

📄 arXiv: 2504.07198v1 📥 PDF

作者: Ashutosh Chaubey, Xulang Guan, Mohammad Soleymani

分类: cs.CV, cs.AI, cs.HC

发布日期: 2025-04-09

备注: Project Page: https://face-llava.github.io

💡 一句话要点

Face-LLaVA：通过指令微调实现面部表情和属性理解的多模态大语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 面部表情识别 指令微调 交叉注意力机制 面部属性理解 视觉语言模型 社交AI

📋 核心要点

  1. 现有计算机视觉工具在以人为中心的社交应用中，对面部理解能力不足，难以满足社交沟通的需求。
  2. Face-LLaVA通过指令微调，结合面部区域引导的交叉注意力机制，提升了多模态大语言模型在面部表情和属性理解方面的能力。
  3. 实验结果表明，Face-LLaVA在多个面部处理任务上优于现有开源模型，并能生成高质量的自然语言描述，提升推理能力。

📝 摘要（中文）

本文提出Face-LLaVA，一个用于面部中心、上下文学习的多模态大语言模型，旨在提升面部表情和属性识别能力，并能生成用于推理的自然语言描述。为了训练该模型，作者构建了FaceInstruct-1M，一个以面部为中心的指令微调数据集。此外，还设计了一种新颖的、特定于面部的视觉编码器，该编码器利用面部区域引导的交叉注意力机制，将面部几何信息与局部视觉特征相结合。在包括面部表情识别、动作单元检测、面部属性检测、年龄估计和Deepfake检测等五个不同面部处理任务的九个数据集上进行了评估。实验结果表明，Face-LLaVA优于现有的开源多模态大语言模型，并与商业解决方案相比具有竞争力。在零样本设置下，GPT对Face-LLaVA的输出给出了更高的推理评分。数据集和模型将在https://face-llava.github.io上发布，以支持社交AI和基础视觉-语言研究的未来发展。

🔬 方法详解

问题定义：现有方法在面部表情和属性理解方面存在不足，尤其是在结合自然语言进行推理时表现较差。缺乏专门针对面部处理的多模态大语言模型，限制了其在社交AI等领域的应用。现有方法难以有效融合面部几何信息和局部视觉特征，导致性能瓶颈。

核心思路：Face-LLaVA的核心思路是利用指令微调，使多模态大语言模型能够更好地理解和处理面部信息。通过构建专门的面部数据集FaceInstruct-1M，并设计面部区域引导的交叉注意力机制，提升模型对面部特征的提取和理解能力。这种设计旨在弥合视觉和语言之间的差距，使模型能够生成更准确、更具推理性的自然语言描述。

技术框架：Face-LLaVA的整体框架包括一个视觉编码器和一个大型语言模型。视觉编码器负责提取面部图像的视觉特征，并将其与面部几何信息融合。大型语言模型则利用这些特征生成自然语言描述，并进行推理。FaceInstruct-1M数据集用于指令微调，指导模型学习如何将视觉信息转化为语言描述。

关键创新：Face-LLaVA的关键创新在于：1) 构建了FaceInstruct-1M数据集，为面部处理任务提供了专门的指令微调数据。2) 提出了面部区域引导的交叉注意力机制，能够有效地融合面部几何信息和局部视觉特征。3) 将视觉编码器与大型语言模型相结合，实现了端到端的面部理解和推理。与现有方法相比，Face-LLaVA更专注于面部特征的提取和理解，并能够生成更具推理性的自然语言描述。

关键设计：面部区域引导的交叉注意力机制是关键设计之一，它利用面部关键点信息引导注意力机制，使模型能够更关注面部的重要区域。损失函数的设计也至关重要，它需要平衡视觉特征提取和语言生成之间的关系。具体的网络结构和参数设置（例如Transformer的层数、注意力头的数量等）需要根据实验结果进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Face-LLaVA在九个数据集和五个面部处理任务上进行了评估，取得了显著的成果。相较于现有开源多模态大语言模型，Face-LLaVA在面部表情识别、动作单元检测、面部属性检测、年龄估计和Deepfake检测等任务上均取得了更优异的性能。在零样本设置下，GPT对Face-LLaVA的输出给出了更高的推理评分，表明其具有更强的推理能力。

🎯 应用场景

Face-LLaVA具有广泛的应用前景，包括社交机器人、虚拟助手、情感分析、人机交互、安全监控等领域。它可以用于识别用户的情绪状态，从而提供个性化的服务。在医疗领域，可以辅助医生进行面部表情分析，辅助诊断。此外，还可以应用于Deepfake检测，提高安全性。

📄 摘要（原文）

The human face plays a central role in social communication, necessitating the use of performant computer vision tools for human-centered applications. We propose Face-LLaVA, a multimodal large language model for face-centered, in-context learning, including facial expression and attribute recognition. Additionally, Face-LLaVA is able to generate natural language descriptions that can be used for reasoning. Leveraging existing visual databases, we first developed FaceInstruct-1M, a face-centered database for instruction tuning MLLMs for face processing. We then developed a novel face-specific visual encoder powered by Face-Region Guided Cross-Attention that integrates face geometry with local visual features. We evaluated the proposed method across nine different datasets and five different face processing tasks, including facial expression recognition, action unit detection, facial attribute detection, age estimation and deepfake detection. Face-LLaVA achieves superior results compared to existing open-source MLLMs and competitive performance compared to commercial solutions. Our model output also receives a higher reasoning rating by GPT under a zero-shot setting across all the tasks. Both our dataset and model wil be released at https://face-llava.github.io to support future advancements in social AI and foundational vision-language research.