ChatGPT Encounters Morphing Attack Detection: Zero-Shot MAD with Multi-Modal Large Language Models and General Vision Models

📄 arXiv: 2503.10937v1 📥 PDF

作者: Haoyu Zhang, Raghavendra Ramachandra, Kiran Raja, Christoph Busch

分类: cs.CV, cs.AI, cs.LG

发布日期: 2025-03-13

💡 一句话要点

提出基于多模态大语言模型和通用视觉模型的零样本人脸变脸攻击检测方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人脸变脸攻击检测 零样本学习 大型语言模型 多模态学习 GPT-4 Turbo

📋 核心要点

  1. 现有MAD算法泛化性差，缺乏可解释性，难以应对真实场景中未知的攻击方式。
  2. 利用大语言模型的零样本学习能力，无需训练即可检测人脸变脸攻击，并提供可解释的判断依据。
  3. 实验表明，该方法在未见过的变脸攻击数据集上表现出良好的检测精度，验证了其可行性。

📝 摘要（中文）

人脸识别系统（FRS）越来越容易受到人脸变脸攻击的影响，这促使了人脸变脸攻击检测（MAD）算法的发展。然而，MAD的一个关键挑战在于其对未见数据的泛化能力有限，并且缺乏可解释性，这对于注册站和自动边境控制系统等实际应用环境至关重要。 现有的大多数MAD算法依赖于监督学习范式，因此本文探索了一种利用大型语言模型（LLM）进行零样本学习的MAD新方法。我们提出了两种类型的零样本MAD算法：一种利用通用视觉模型，另一种利用多模态LLM。对于通用视觉模型，我们通过计算独立支持集的平均支持嵌入来解决MAD任务，而无需使用变脸图像。对于基于LLM的方法，我们采用最先进的GPT-4 Turbo API，并精心设计提示。为了评估零样本MAD的可行性和所提出方法的有效性，我们构建了一个包含各种未见变脸算法的打印扫描变脸数据集，模拟了具有挑战性的真实应用场景。实验结果表明，检测精度显著，验证了零样本学习在MAD任务中的适用性。此外，我们对基于LLM的MAD的研究表明，多模态LLM（如ChatGPT）对未训练的MAD任务表现出卓越的泛化能力。此外，它们还具有提供解释和指导的独特能力，这可以提高实际应用中最终用户的透明度和可用性。

🔬 方法详解

问题定义：论文旨在解决人脸变脸攻击检测（MAD）问题，现有MAD算法依赖于监督学习，泛化能力差，难以应对真实场景中未知的变脸攻击，并且缺乏可解释性，限制了其在实际应用中的部署。

核心思路：论文的核心思路是利用大型语言模型（LLM）的零样本学习能力，无需针对特定变脸攻击进行训练，即可实现有效的MAD。通过精心设计的提示，使LLM能够理解并解决MAD问题，并提供可解释的判断依据。

技术框架：论文提出了两种零样本MAD算法： 1. 基于通用视觉模型的MAD：计算独立支持集的平均支持嵌入，用于区分真实人脸和变脸人脸。 2. 基于多模态LLM的MAD：使用GPT-4 Turbo API，通过文本提示和图像输入，让LLM判断是否为变脸攻击，并给出解释。

关键创新：论文最重要的技术创新点在于将大型语言模型应用于零样本人脸变脸攻击检测。与传统的监督学习方法相比，该方法无需训练数据，具有更好的泛化能力和可解释性。

关键设计： 1. 通用视觉模型：使用预训练的视觉模型提取人脸图像的特征，并计算支持集的平均嵌入。 2. 多模态LLM：使用GPT-4 Turbo API，设计合适的文本提示，引导LLM进行MAD判断。提示语的设计是关键，需要包含对MAD任务的描述、判断标准以及输出格式的要求。 3. 打印扫描变脸数据集：构建包含各种未见变脸算法的打印扫描变脸数据集，用于评估算法的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于多模态LLM的零样本MAD方法在未见过的打印扫描变脸数据集上表现出良好的检测精度，验证了其可行性。GPT-4 Turbo API能够有效地识别变脸攻击，并提供可解释的判断依据，为实际应用提供了新的思路。

🎯 应用场景

该研究成果可应用于身份验证、安全监控、边境安全等领域。零样本学习的特性使其能够快速部署到新的应用场景中，无需大量训练数据。LLM提供的可解释性有助于提高用户信任度，并为安全人员提供决策支持。未来，该方法有望成为人脸识别系统安全的重要组成部分。

📄 摘要（原文）

Face Recognition Systems (FRS) are increasingly vulnerable to face-morphing attacks, prompting the development of Morphing Attack Detection (MAD) algorithms. However, a key challenge in MAD lies in its limited generalizability to unseen data and its lack of explainability-critical for practical application environments such as enrolment stations and automated border control systems. Recognizing that most existing MAD algorithms rely on supervised learning paradigms, this work explores a novel approach to MAD using zero-shot learning leveraged on Large Language Models (LLMs). We propose two types of zero-shot MAD algorithms: one leveraging general vision models and the other utilizing multimodal LLMs. For general vision models, we address the MAD task by computing the mean support embedding of an independent support set without using morphed images. For the LLM-based approach, we employ the state-of-the-art GPT-4 Turbo API with carefully crafted prompts. To evaluate the feasibility of zero-shot MAD and the effectiveness of the proposed methods, we constructed a print-scan morph dataset featuring various unseen morphing algorithms, simulating challenging real-world application scenarios. Experimental results demonstrated notable detection accuracy, validating the applicability of zero-shot learning for MAD tasks. Additionally, our investigation into LLM-based MAD revealed that multimodal LLMs, such as ChatGPT, exhibit remarkable generalizability to untrained MAD tasks. Furthermore, they possess a unique ability to provide explanations and guidance, which can enhance transparency and usability for end-users in practical applications.