FaceXBench: Evaluating Multimodal LLMs on Face Understanding

📄 arXiv: 2501.10360v3 📥 PDF

作者: Kartik Narayan, Vibashan VS, Vishal M. Patel

分类: cs.CV

发布日期: 2025-01-17 (更新: 2026-01-16)

备注: Accepted in IEEE T-BIOM. Project Page: https://kartik-3004.github.io/facexbench/

🔗 代码/项目: GITHUB

💡 一句话要点

提出FaceXBench以评估多模态大语言模型的面部理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 面部理解 评估基准 人脸识别 偏见与公平性 模型评估 复杂任务 机器学习

📋 核心要点

  1. 现有多模态大语言模型在面部理解任务上的能力尚未得到系统评估，存在研究空白。
  2. FaceXBench是一个新的基准，包含5000个多模态选择题，旨在全面评估MLLMs在面部理解方面的表现。
  3. 通过对26个开源和2个专有模型的评估，发现当前模型在复杂面部理解任务中仍有显著提升空间。

📝 摘要（中文）

多模态大语言模型（MLLMs）在各种任务和领域中展现出令人印象深刻的问题解决能力。然而，它们在面部理解方面的能力尚未得到系统研究。为了解决这一空白，我们引入了FaceXBench，这是一个全面的基准，旨在评估MLLMs在复杂面部理解任务上的表现。FaceXBench包含5000个多模态选择题，涵盖14个任务和6个广泛类别，评估MLLMs在偏见与公平性、面部认证、识别、分析、定位和工具检索等方面的能力。通过FaceXBench，我们对26个开源MLLMs和2个专有模型进行了广泛评估，揭示了复杂面部理解任务中的独特挑战。我们的分析显示，当前的MLLMs，包括先进模型如GPT-4o和GeminiPro 1.5，仍有显著的改进空间。我们相信FaceXBench将成为开发具备复杂面部理解能力的MLLMs的重要资源。

🔬 方法详解

问题定义：本论文旨在解决多模态大语言模型在面部理解任务上的评估不足，现有方法未能系统性地分析其能力和局限性。

核心思路：提出FaceXBench基准，通过设计多样化的面部理解任务，全面评估MLLMs在不同情境下的表现，帮助识别其优缺点。

技术框架：FaceXBench包括5000个多模态选择题，覆盖14个任务，分为偏见与公平性、面部认证、识别、分析、定位和工具检索等6个类别，评估模型在零-shot、上下文任务描述和思维链提示等三种设置下的表现。

关键创新：FaceXBench的创新在于其系统性和全面性，填补了现有研究在面部理解能力评估方面的空白，提供了一个标准化的评估框架。

关键设计：在设计过程中，问题的多样性和复杂性被充分考虑，确保涵盖不同的面部理解任务，同时在评估中引入了多种模型和设置，以便更全面地分析模型性能。

📊 实验亮点

在对26个开源和2个专有模型的评估中，FaceXBench揭示了复杂面部理解任务中的独特挑战。尽管一些先进模型如GPT-4o和GeminiPro 1.5表现良好，但仍显示出显著的改进空间，强调了进一步研究的必要性。

🎯 应用场景

FaceXBench的潜在应用领域包括人脸识别系统、安全监控、社交媒体分析等。通过提供一个标准化的评估工具，研究者和开发者可以更好地理解和改进多模态大语言模型在面部理解方面的能力，推动相关技术的进步和应用。未来，FaceXBench可能成为面部理解研究的重要基准，促进更公平和高效的面部识别技术的发展。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) demonstrate impressive problem-solving abilities across a wide range of tasks and domains. However, their capacity for face understanding has not been systematically studied. To address this gap, we introduce FaceXBench, a comprehensive benchmark designed to evaluate MLLMs on complex face understanding tasks. FaceXBench includes 5,000 multimodal multiple-choice questions derived from 25 public datasets and a newly created dataset, FaceXAPI. These questions cover 14 tasks across 6 broad categories, assessing MLLMs' face understanding abilities in bias and fairness, face authentication, recognition, analysis, localization and tool retrieval. Using FaceXBench, we conduct an extensive evaluation of 26 open-source MLLMs alongside 2 proprietary models, revealing the unique challenges in complex face understanding tasks. We analyze the models across three evaluation settings: zero-shot, in-context task description, and chain-of-thought prompting. Our detailed analysis reveals that current MLLMs, including advanced models like GPT-4o, and GeminiPro 1.5, show significant room for improvement. We believe FaceXBench will be a crucial resource for developing MLLMs equipped to perform sophisticated face understanding. Code: https://github.com/Kartik-3004/facexbench