SLAPBench: Benchmarking Multimodal Large Language Models for Four-Finger SLAP Fingerprint Verification

📄 arXiv: 2607.15517 📥 PDF

作者: Bibesh Pyakurel, M. G. Sarwar Murshed

分类: cs.CV, cs.AI

发布日期: 2026-07-20

💡 一句话要点

提出SLAPBench以解决四指SLAP指纹验证的多模态模型评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 SLAP指纹验证 身份验证 基准评估 生物特征识别 模型性能评估 提示方式 相似性评分

📋 核心要点

  1. 现有方法未能评估多模态大语言模型在SLAP指纹验证中的有效性，缺乏相关基准。
  2. 提出SLAPBench基准，专注于四指SLAP指纹的身份验证，评估多种MLLM的性能。
  3. 实验结果显示，提示方式对模型的验证行为有显著影响，Claude Opus 4.8表现最佳，AUC达到0.953。

📝 摘要（中文）

四指SLAP指纹是用于身份验证的重要生物特征，然而尚无基准评估多模态大语言模型（MLLMs）在SLAP图像中的身份验证能力。本文提出SLAPBench，这是首个针对四指SLAP指纹验证的MLLM基准，基于NIST SD302b数据集构建，包含7832对指纹样本。通过对四种开源MLLM和一个专有模型的评估，发现提示方式显著影响验证结果，Claude Opus 4.8在二元提示下表现最佳，FAR为20.2%。此外，使用相似性评分方法揭示了模型能力的差异，Claude的AUC达到0.953，而其他模型表现不一。SLAPBench为SLAP特定的MLLM基线奠定了基础，展示了提示方式对模型表现的影响。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在四指SLAP指纹验证中的有效性评估问题。现有方法缺乏针对SLAP图像的基准，无法判断模型的实际能力。

核心思路：通过构建SLAPBench基准，评估不同MLLM在SLAP指纹验证中的表现，探索提示方式对模型结果的影响。

技术框架：SLAPBench基于NIST SD302b数据集，包含7832对指纹样本，采用零-shot、任务描述和相似性评分三种提示方式进行评估。

关键创新：首次建立SLAP特定的MLLM基准，揭示了提示方式对模型验证行为的影响，特别是Claude Opus 4.8在二元提示下的优越表现。

关键设计：实验中使用了多种开源和专有模型，设置了不同的提示方式，评估了FAR和AUC等指标，确保了实验的全面性和准确性。通过相似性评分方法，揭示了模型能力的显著差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Claude Opus 4.8在二元提示下的FAR为20.2%，而在相似性评分下AUC达到0.953，显示出其在SLAP指纹验证中的优越性。相比之下，其他开源模型的表现差异显著，提供了对模型能力的深入洞察。

🎯 应用场景

该研究的潜在应用领域包括边境控制、执法和身份验证系统，能够提高生物特征识别的准确性和可靠性。SLAPBench的建立为未来的多模态模型研究提供了基准，推动了生物识别技术的发展。

📄 摘要（原文）

Four-finger SLAP fingerprints are flat live-scan impressions of the index, middle, ring, and little fingers of one hand, used for identity verification in border control and law enforcement. No benchmark has evaluated whether multimodal large language models (MLLMs) can verify identity from SLAP images. We introduce SLAPBench, the first benchmark for MLLM-based four-finger SLAP fingerprint verification, built from NIST SD302b with 7,832 pairs (176 mated, 7,656 non-mated). We evaluate four open-source MLLMs (InternVL3-8B, Qwen2.5-VL-7B, Qwen3-VL-8B, Gemma-3-12B) and the proprietary Claude Opus 4.8 under zero-shot, task-description, and similarity-scoring prompts.Prompting governs verification behavior. Task-description prompting collapses all four open-source models to near-100% False Accept Rate (FAR), and Gemma-3-12B collapses under zero-shot as well; Claude Opus 4.8 alone resists collapse under both binary prompts, giving the best binary result (FAR = 20.2%). Similarity scoring removes collapse across the open-source models and exposes wide capability gaps: Claude reaches AUC = 0.953 and Gemma-3-12B 0.837, while InternVL3-8B is inverted (AUC = 0.590) and Qwen2.5-VL-7B near random (0.567). Qwen3-VL-8B attains perfect separation (AUC = 1.000), which we treat as a diagnostic rather than as capability: SD302b holds one SLAP capture per finger position, so mated pairs are cross-resolution. A matched-resolution control leaves the perfect score intact, ruling out the resolution shortcut; what cannot be excluded within SD302b is near-duplicate detection, since a mated pair is one capture rendered twice. A fairness probe over gender, race, and age suggests disparity grows as discrimination weakens. SLAPBench establishes the first SLAP-specific MLLM baseline and shows that prompting governs collapse while model capability governs discrimination.