Face-MLLM: A Large Face Perception Model

📄 arXiv: 2410.20717v1 📥 PDF

作者: Haomiao Sun, Mingjie He, Tianheng Lian, Hu Han, Shiguang Shan

分类: cs.CV

发布日期: 2024-10-28

💡 一句话要点

提出Face-MLLM：一个用于人脸感知的多模态大模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大模型 人脸感知 视觉-语言模型 数据集构建 三阶段训练

📋 核心要点

  1. 现有多模态大语言模型在人脸感知任务上表现不佳，主要原因是缺乏包含人脸细粒度描述的图像-文本数据集。
  2. 论文提出Face-MLLM，通过构建包含详细人脸描述的数据集，并采用三阶段训练方法，提升模型人脸感知能力。
  3. 实验结果表明，Face-MLLM在多个人脸感知任务上超越现有模型，并在零样本面部属性分析任务中表现出色。

📝 摘要（中文）

多模态大语言模型(MLLMs)在各种视觉-语言任务中取得了可喜的成果，但它们感知和理解人脸的能力却很少被探索。本文全面评估了现有MLLMs在人脸感知任务上的表现，定量结果表明现有MLLMs难以处理这些任务。主要原因是缺乏包含人脸细粒度描述的图像-文本数据集。为了解决这个问题，我们设计了一个实用的数据集构建流程，并在此基础上构建了一个新的多模态人脸感知大模型，即Face-MLLM。具体来说，我们使用更详细的人脸描述和面部属性标签重新标注了LAION-Face数据集。此外，我们使用问答风格重新构建了传统的面部数据集，使其适合MLLMs。结合这些丰富的数据集，我们开发了一种新的三阶段MLLM训练方法。在前两个阶段，我们的模型分别学习视觉-文本对齐和基本的视觉问答能力。在第三阶段，我们的模型学习处理多个专门的人脸感知任务。实验结果表明，我们的模型在五个著名的人脸感知任务上优于以前的MLLMs。此外，在我们新引入的零样本面部属性分析任务中，我们的Face-MLLM也表现出优越的性能。

🔬 方法详解

问题定义：现有的大型多模态模型在人脸感知任务上表现不佳，无法准确理解和识别图像中人脸的细粒度特征和属性。主要痛点在于缺乏高质量、包含丰富人脸描述的训练数据，导致模型无法有效学习人脸相关的知识。

核心思路：论文的核心思路是通过构建高质量的人脸描述数据集，并设计专门的训练策略，来提升多模态大模型在人脸感知任务上的性能。通过更细致的人脸标注和问答式的数据组织方式，使模型能够更好地理解人脸图像和文本描述之间的关系。

技术框架：Face-MLLM的整体框架包含三个主要阶段： 1. 视觉-文本对齐：利用大规模图像-文本数据，使模型学习基本的视觉和文本之间的对应关系。 2. 视觉问答能力：通过问答形式的数据，训练模型理解图像内容并回答相关问题，提升模型的推理能力。 3. 人脸感知任务学习：利用专门构建的人脸数据集，训练模型处理各种人脸感知任务，如人脸识别、属性分析等。

关键创新：论文的关键创新在于： 1. 数据集构建流程：设计了一套实用的流程，用于生成包含细粒度人脸描述的图像-文本数据集，解决了数据稀缺的问题。 2. 三阶段训练方法：提出的三阶段训练方法能够有效地引导模型学习人脸相关的知识，并提升在各种人脸感知任务上的性能。 3. 问答式数据重构：将传统的人脸数据集转化为问答形式，更适合MLLM的学习方式。

关键设计： 1. LAION-Face数据集重标注：使用更详细的人脸描述和面部属性标签重新标注LAION-Face数据集。 2. 数据集问答化：将传统人脸数据集转化为问答形式，例如“图中人是谁？”、“图中人有什么特征？”。 3. 三阶段训练损失函数：每个阶段采用不同的损失函数，例如对比学习损失、交叉熵损失等，以优化模型的不同能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Face-MLLM在五个人脸感知任务上超越了之前的MLLMs。此外，在论文新引入的零样本面部属性分析任务中，Face-MLLM也表现出了优越的性能。具体性能数据未知，但结果表明该模型在人脸理解方面取得了显著进展。

🎯 应用场景

Face-MLLM在人脸识别、人脸属性分析、人脸编辑等领域具有广泛的应用前景。例如，可以应用于智能安防、社交媒体内容审核、个性化推荐等场景。该研究有助于提升机器对人脸的理解能力，为构建更智能的人机交互系统奠定基础，并可能推动相关技术在医疗健康、教育等领域的应用。

📄 摘要（原文）

Although multimodal large language models (MLLMs) have achieved promising results on a wide range of vision-language tasks, their ability to perceive and understand human faces is rarely explored. In this work, we comprehensively evaluate existing MLLMs on face perception tasks. The quantitative results reveal that existing MLLMs struggle to handle these tasks. The primary reason is the lack of image-text datasets that contain fine-grained descriptions of human faces. To tackle this problem, we design a practical pipeline for constructing datasets, upon which we further build a novel multimodal large face perception model, namely Face-MLLM. Specifically, we re-annotate LAION-Face dataset with more detailed face captions and facial attribute labels. Besides, we re-formulate traditional face datasets using the question-answer style, which is fit for MLLMs. Together with these enriched datasets, we develop a novel three-stage MLLM training method. In the first two stages, our model learns visual-text alignment and basic visual question answering capability, respectively. In the third stage, our model learns to handle multiple specialized face perception tasks. Experimental results show that our model surpasses previous MLLMs on five famous face perception tasks. Besides, on our newly introduced zero-shot facial attribute analysis task, our Face-MLLM also presents superior performance.