FoundPAD: Foundation Models Reloaded for Face Presentation Attack Detection

📄 arXiv: 2501.02892v1 📥 PDF

作者: Guray Ozgur, Eduarda Caldeira, Tahar Chettaoui, Fadi Boutros, Raghavendra Ramachandra, Naser Damer

分类: cs.CV

发布日期: 2025-01-06

备注: Accepted at WACV 2025 workshops

🔗 代码/项目: GITHUB

💡 一句话要点

FoundPAD：利用重载的基础模型进行人脸呈现攻击检测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人脸呈现攻击检测 基础模型 LoRA微调 泛化能力 视觉Transformer

📋 核心要点

  1. 现有PAD方法泛化性差，对未知攻击场景难以有效检测，且需要大量标注数据进行训练。
  2. FoundPAD利用预训练的基础模型，通过LoRA权重进行高效的任务特定适配，提升泛化能力。
  3. 实验表明，FoundPAD在多种数据条件下均表现出色，甚至仅使用合成数据也能取得竞争性结果。

📝 摘要（中文）

近年来，人脸识别系统性能得到了显著提升，但仍然面临呈现攻击等威胁，因此需要具备泛化能力的呈现攻击检测（PAD）算法。现有的PAD解决方案存在两个主要问题：对未知场景的泛化能力不足以及需要大量的训练数据。基础模型（FM）在大量数据集上进行预训练，在泛化到未见领域时表现出色，即使在少量训练数据可用时也能实现高效的任务特定适应。本文首次认识到FM解决常见PAD问题的潜力，并使用经过调整的FM来处理PAD任务。所考虑的FM通过LoRA权重进行调整，同时训练分类头。由此产生的架构FoundPAD，对未见领域具有高度的泛化能力，在不同数据可用性场景下，甚至在使用合成训练数据时，也能在多个设置中取得有竞争力的结果。为了鼓励可重复性并促进PAD的进一步研究，我们公开发布了FoundPAD的实现。

🔬 方法详解

问题定义：人脸呈现攻击检测（PAD）旨在区分真人人脸和伪造人脸，以保障人脸识别系统的安全性。现有PAD方法在面对未知的攻击类型和场景时，泛化能力较差，需要大量的真实数据进行训练，成本较高。

核心思路：利用预训练的基础模型（Foundation Model）强大的特征提取能力和泛化性能，通过少量数据进行微调，使其适应PAD任务。核心在于利用FM在海量数据上学习到的通用知识，减少对特定PAD数据集的依赖，从而提高对未知攻击的鲁棒性。

技术框架：FoundPAD的整体架构包括一个预训练的基础模型和一个分类头。基础模型负责提取人脸图像的特征，分类头负责将提取的特征映射到PAD的二分类结果（真人或攻击）。为了高效地将基础模型适应于PAD任务，采用了LoRA（Low-Rank Adaptation）方法，只训练少量参数，避免了对整个基础模型的微调。

关键创新：首次将基础模型应用于人脸呈现攻击检测任务，并采用LoRA进行高效的参数微调。这种方法显著提高了PAD模型对未知攻击的泛化能力，降低了对大量训练数据的需求。

关键设计：基础模型选择了一个预训练的视觉Transformer模型（具体模型未知）。LoRA的秩（rank）是一个重要的超参数，控制着微调参数的数量。分类头是一个简单的全连接层，将基础模型提取的特征映射到二分类概率。损失函数采用标准的交叉熵损失函数，优化器采用AdamW。

📊 实验亮点

FoundPAD在多个公开数据集上进行了评估，并在不同数据可用性场景下取得了有竞争力的结果。尤其是在使用合成训练数据时，FoundPAD仍然能够表现出良好的泛化能力，证明了其对未知攻击的鲁棒性。与传统的PAD方法相比，FoundPAD在泛化能力和数据效率方面均有显著提升（具体性能数据未知）。

🎯 应用场景

FoundPAD可应用于各种需要人脸识别的场景，例如移动支付、门禁系统、身份验证等。通过提高人脸识别系统对呈现攻击的防御能力，可以有效防止欺诈行为，保障用户的信息安全和财产安全。该研究成果对于提升人脸识别技术的安全性和可靠性具有重要意义，并为未来的PAD研究提供了新的方向。

📄 摘要（原文）

Although face recognition systems have seen a massive performance enhancement in recent years, they are still targeted by threats such as presentation attacks, leading to the need for generalizable presentation attack detection (PAD) algorithms. Current PAD solutions suffer from two main problems: low generalization to unknown cenarios and large training data requirements. Foundation models (FM) are pre-trained on extensive datasets, achieving remarkable results when generalizing to unseen domains and allowing for efficient task-specific adaption even when little training data are available. In this work, we recognize the potential of FMs to address common PAD problems and tackle the PAD task with an adapted FM for the first time. The FM under consideration is adapted with LoRA weights while simultaneously training a classification header. The resultant architecture, FoundPAD, is highly generalizable to unseen domains, achieving competitive results in several settings under different data availability scenarios and even when using synthetic training data. To encourage reproducibility and facilitate further research in PAD, we publicly release the implementation of FoundPAD at https://github.com/gurayozgur/FoundPAD .