Benchmarking Foundation Models for Zero-Shot Biometric Tasks

📄 arXiv: 2505.24214v1 📥 PDF

作者: Redwan Sony, Parisa Farmanifard, Hamzeh Alzwairy, Nitish Shukla, Arun Ross

分类: cs.CV, cs.AI

发布日期: 2025-05-30

💡 一句话要点

基准测试：零样本生物特征识别任务中的Foundation模型

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Foundation模型 生物特征识别 零样本学习 视觉-语言模型 人脸验证 虹膜识别 呈现攻击检测

📋 核心要点

  1. 现有生物特征识别方法依赖大量标注数据，泛化能力有限，难以适应新的攻击和场景。
  2. 利用VLMs和MLLMs的强大泛化能力，探索其在零样本或少样本生物特征识别任务中的潜力。
  3. 实验表明，Foundation模型在人脸验证和虹膜识别等任务上取得了显著的零样本性能。

📝 摘要（中文）

Foundation模型，特别是视觉-语言模型(VLMs)和多模态大型语言模型(MLLMs)的出现，重新定义了人工智能的前沿，实现了在各种任务中的卓越泛化能力，且只需极少甚至无需监督。然而，它们在生物特征识别和分析中的潜力仍有待探索。本文提出了一个全面的基准，评估了最先进的公开VLMs和MLLMs在六个生物特征任务中的零样本和少样本性能，涵盖了面部和虹膜模态：人脸验证、软生物特征属性预测（性别和种族）、虹膜识别、呈现攻击检测(PAD)以及人脸操纵检测（人脸变形和Deepfakes）。总共使用了41个VLMs进行评估。实验表明，这些Foundation模型中的嵌入可以用于各种生物特征任务，并取得不同程度的成功。例如，在人脸验证中，在LFW数据集上，在1%的错误匹配率(FMR)下获得了96.77%的真实匹配率(TMR)，无需任何微调。在虹膜识别中，在IITD-R-Full数据集上，在1% FMR下的TMR为97.55%，无需任何微调。此外，我们表明，将一个简单的分类器头应用于这些嵌入可以帮助执行人脸的DeepFake检测、虹膜的呈现攻击检测(PAD)，并以相当高的准确率从人脸中提取软生物特征属性，如性别和种族。这项工作重申了预训练模型在实现通用人工智能长期愿景方面的潜力。

🔬 方法详解

问题定义：论文旨在评估Foundation模型在零样本生物特征识别任务中的性能。现有生物特征识别方法通常需要大量标注数据进行训练，并且泛化能力较弱，难以应对新的攻击方式或识别未见过的数据。因此，探索Foundation模型在生物特征识别领域的潜力，特别是其零样本学习能力，具有重要意义。

核心思路：论文的核心思路是利用预训练的VLMs和MLLMs提取生物特征图像的嵌入表示，并直接将其应用于各种生物特征识别任务，无需或仅需少量微调。这种方法依赖于Foundation模型强大的泛化能力，使其能够识别和区分不同生物特征的细微差异。

技术框架：论文构建了一个全面的基准测试框架，包括以下几个主要模块：1) 数据集准备：选择涵盖人脸和虹膜模态的多个公开数据集，用于评估不同生物特征识别任务的性能。2) 模型选择：选取了41个公开可用的VLMs和MLLMs作为评估对象。3) 任务定义：定义了六个生物特征识别任务，包括人脸验证、软生物特征属性预测、虹膜识别、呈现攻击检测和人脸操纵检测。4) 评估指标：采用真实匹配率(TMR)和错误匹配率(FMR)等指标评估模型的性能。

关键创新：论文的关键创新在于首次系统性地评估了Foundation模型在零样本生物特征识别任务中的性能。以往的研究主要集中在特定生物特征识别任务的微调或迁移学习，而本文则关注Foundation模型在无需或仅需少量训练数据的情况下，能否直接应用于各种生物特征识别任务。

关键设计：论文的关键设计包括：1) 选择具有代表性的VLMs和MLLMs，涵盖不同的模型架构和训练数据。2) 针对不同的生物特征识别任务，设计合适的评估协议和指标。3) 采用简单的分类器头，将Foundation模型提取的嵌入表示映射到具体的任务输出。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Foundation模型在零样本生物特征识别任务中表现出强大的潜力。例如，在LFW人脸验证数据集上，无需任何微调，即可达到96.77%的TMR（在1% FMR下）。在IITD-R-Full虹膜识别数据集上，零样本TMR达到97.55%（在1% FMR下）。此外，通过添加简单的分类器头，Foundation模型在DeepFake检测、PAD和软生物特征属性预测等任务上也取得了较好的效果。

🎯 应用场景

该研究成果可应用于身份验证、安全监控、访问控制等领域，尤其是在数据稀缺或需要快速部署的场景下。例如，在边境安全检查中，可以利用Foundation模型快速识别人员身份，无需大量训练数据。此外，该研究也为开发更通用、更智能的生物特征识别系统提供了新的思路。

📄 摘要（原文）

The advent of foundation models, particularly Vision-Language Models (VLMs) and Multi-modal Large Language Models (MLLMs), has redefined the frontiers of artificial intelligence, enabling remarkable generalization across diverse tasks with minimal or no supervision. Yet, their potential in biometric recognition and analysis remains relatively underexplored. In this work, we introduce a comprehensive benchmark that evaluates the zero-shot and few-shot performance of state-of-the-art publicly available VLMs and MLLMs across six biometric tasks spanning the face and iris modalities: face verification, soft biometric attribute prediction (gender and race), iris recognition, presentation attack detection (PAD), and face manipulation detection (morphs and deepfakes). A total of 41 VLMs were used in this evaluation. Experiments show that embeddings from these foundation models can be used for diverse biometric tasks with varying degrees of success. For example, in the case of face verification, a True Match Rate (TMR) of 96.77 percent was obtained at a False Match Rate (FMR) of 1 percent on the Labeled Face in the Wild (LFW) dataset, without any fine-tuning. In the case of iris recognition, the TMR at 1 percent FMR on the IITD-R-Full dataset was 97.55 percent without any fine-tuning. Further, we show that applying a simple classifier head to these embeddings can help perform DeepFake detection for faces, Presentation Attack Detection (PAD) for irides, and extract soft biometric attributes like gender and ethnicity from faces with reasonably high accuracy. This work reiterates the potential of pretrained models in achieving the long-term vision of Artificial General Intelligence.