Facial Affective Behavior Analysis with Instruction Tuning

📄 arXiv: 2404.05052v2 📥 PDF

作者: Yifan Li, Anh Dao, Wentao Bao, Zhen Tan, Tianlong Chen, Huan Liu, Yu Kong

分类: cs.CV

发布日期: 2024-04-07 (更新: 2024-07-12)

备注: V2.0, project page: https://johnx69.github.io/FABA/

💡 一句话要点

提出面部情感行为分析新方法以解决数据稀缺问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 面部情感分析 多模态大语言模型 数据集构建 推理能力 情感计算 人机交互 机器学习

📋 核心要点

  1. 现有方法主要集中于离散情感类别的区分，缺乏对复杂面部行为的细粒度分析和推理能力。
  2. 论文提出了一个指令跟随数据集和FABA-Bench基准，结合面部先验知识模块和低秩适应模块，提升了模型的训练效率和性能。
  3. 实验结果显示，EmoLA在FABA-Bench上取得最佳表现，并在常用FABA数据集上与最先进模型相抗衡。

📝 摘要（中文）

面部情感行为分析（FABA）对于理解人类心理状态至关重要。然而，传统方法主要依赖模型区分离散情感类别，缺乏对复杂面部行为的细粒度和推理能力。本文提出了一种新的指令跟随数据集，针对情感和动作单元识别任务，建立了FABA-Bench基准，并引入了新型多模态大语言模型EmoLA，作为社区的强基线。通过引入面部先验专家模块和低秩适应模块，提升了训练效率和性能。实验结果表明，EmoLA在FABA-Bench上表现最佳，并在常用FABA数据集上与任务特定的最先进模型竞争。

🔬 方法详解

问题定义：本文旨在解决面部情感行为分析中的数据稀缺、缺乏面部先验知识和训练效率低下等问题。现有方法往往无法处理复杂的面部行为，导致分析结果的局限性。

核心思路：提出了一种新的指令跟随数据集，专注于情感和动作单元识别任务，同时建立了FABA-Bench基准，以评估模型的识别和生成能力。引入面部先验专家模块，利用面部结构知识，提升模型的推理能力。

技术框架：整体架构包括数据集构建、基准评估和模型设计三个主要部分。数据集提供了多样化的面部情感行为样本，基准评估则通过新指标综合考虑识别与生成能力，而模型设计则结合了面部先验专家模块和低秩适应模块。

关键创新：最重要的创新在于引入了面部先验专家模块，使模型能够更好地理解面部结构和动态变化，从而提升分析的准确性和细粒度。与传统方法相比，本文的方法在推理能力和训练效率上具有显著优势。

关键设计：在模型设计中，采用了低秩适应模块以提高训练效率，同时在损失函数中引入了新的评估指标，确保模型在识别和生成任务上的平衡表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EmoLA在FABA-Bench上达到了最佳性能，具体表现为在多个任务上超越了现有的最先进模型，尤其是在情感和动作单元识别方面，提升幅度显著，展示了其在复杂面部行为分析中的有效性。

🎯 应用场景

该研究在情感计算、心理健康监测和人机交互等领域具有广泛的应用潜力。通过更准确地分析面部情感行为，可以改善情感识别系统的性能，推动智能助手、社交机器人等技术的发展，提升人机交互的自然性和有效性。

📄 摘要（原文）

Facial affective behavior analysis (FABA) is crucial for understanding human mental states from images. However, traditional approaches primarily deploy models to discriminate among discrete emotion categories, and lack the fine granularity and reasoning capability for complex facial behaviors. The advent of Multi-modal Large Language Models (MLLMs) has been proven successful in general visual understanding tasks. However, directly harnessing MLLMs for FABA is challenging due to the scarcity of datasets and benchmarks, neglecting facial prior knowledge, and low training efficiency. To address these challenges, we introduce (i) an instruction-following dataset for two FABA tasks, e.g., emotion and action unit recognition, (ii) a benchmark FABA-Bench with a new metric considering both recognition and generation ability, and (iii) a new MLLM "EmoLA" as a strong baseline to the community. Our initiative on the dataset and benchmarks reveal the nature and rationale of facial affective behaviors, i.e., fine-grained facial movement, interpretability, and reasoning. Moreover, to build an effective and efficient FABA MLLM, we introduce a facial prior expert module with face structure knowledge and a low-rank adaptation module into pre-trained MLLM. We conduct extensive experiments on FABA-Bench and four commonly-used FABA datasets. The results demonstrate that the proposed facial prior expert can boost the performance and EmoLA achieves the best results on our FABA-Bench. On commonly-used FABA datasets, EmoLA is competitive rivaling task-specific state-of-the-art models.