in-Car Biometrics (iCarB) Datasets for Driver Recognition: Face, Fingerprint, and Voice
作者: Vedrana Krivokuca Hahn, Jeremy Maceiras, Alain Komaty, Philip Abbet, Sebastien Marcel
分类: cs.CV
发布日期: 2024-11-26
备注: 8 pages, 13 figures, 4 tables
💡 一句话要点
发布iCarB车载生物识别数据集，用于驾驶员身份识别，包含人脸、指纹和语音三种模态。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 车载生物识别 多模态数据集 人脸识别 指纹识别 语音识别 驾驶员身份验证 生物特征识别 数据集
📋 核心要点
- 现有车载生物识别数据集通常模态单一，且缺乏足够的多样性，限制了算法的泛化能力和鲁棒性。
- iCarB数据集包含人脸、指纹和语音三种模态，在真实的汽车环境中采集，并模拟了各种噪声条件。
- 该数据集具有丰富的人口统计学多样性，可用于评估和缓解生物识别系统中的偏差，并促进多模态融合算法的研究。
📝 摘要（中文）
本文介绍三个车载生物识别数据集（iCarB-Face、iCarB-Fingerprint、iCarB-Voice），包含从200名志愿者在车内采集的人脸视频、指纹图像和语音样本。数据采集使用近红外相机、两个指纹扫描仪和两个麦克风，志愿者坐在驾驶座上。数据采集在室内和室外停车场进行，并添加了不同的“噪声”以模拟真实驾驶员识别中可能遇到的非理想生物识别数据捕获情况。虽然这些数据集专门为车载生物识别定制，但其用途不限于汽车环境。iCarB数据集向研究社区开放，可用于：（i）评估和测试人脸、指纹和语音识别系统（我们提供多个评估协议）；（ii）创建多模态伪身份，以训练/测试多模态融合算法；（iii）从生物识别数据创建呈现攻击，以评估呈现攻击检测算法；（iv）使用提供的元数据研究生物识别系统中的人口统计和环境偏差。据我们所知，我们的数据集是最大且最多样化的公开车载生物识别数据集。大多数其他数据集仅包含一种生物识别模态（通常是人脸），而我们的数据集包含三种模态，均在相同的汽车环境中采集。此外，iCarB-Fingerprint似乎是第一个公开的车载指纹数据集。最后，iCarB数据集在200名数据对象中拥有罕见的人口统计多样性，包括50/50的性别比例、覆盖整个Fitzpatrick量表的光谱的肤色以及广泛的年龄范围（18-60+）。因此，这些数据集对于推进生物识别研究非常有价值。
🔬 方法详解
问题定义：现有车载生物识别数据集通常只关注单一模态（如人脸），缺乏多模态数据，难以支持更复杂的身份验证和安全应用。此外，现有数据集在数据采集环境和人口统计学多样性方面存在局限性，难以反映真实驾驶场景的复杂性和个体差异。这导致在这些数据集上训练的算法在实际应用中表现不佳。
核心思路：本文的核心思路是构建一个包含多种生物识别模态（人脸、指纹、语音）的大规模、多样化的车载生物识别数据集，以模拟真实驾驶环境中的各种噪声和干扰因素。通过提供丰富的数据，促进多模态生物识别算法的研究和开发，提高车载身份验证系统的准确性和鲁棒性。
技术框架：iCarB数据集的构建包括以下几个主要阶段：1) 数据采集：招募200名志愿者，在真实的汽车环境中采集人脸视频、指纹图像和语音样本。使用近红外相机、指纹扫描仪和麦克风等设备。2) 环境模拟：在室内和室外停车场进行数据采集，并添加各种噪声（如光照变化、背景噪声等）以模拟真实驾驶场景。3) 数据标注：对采集的数据进行标注，包括身份信息、性别、年龄、肤色等。4) 数据集发布：将数据集公开，并提供评估协议和元数据。
关键创新：iCarB数据集的关键创新在于其多模态性、环境真实性和人口统计学多样性。它是目前最大的公开车载多模态生物识别数据集之一，包含了人脸、指纹和语音三种模态。数据集在真实的汽车环境中采集，并模拟了各种噪声条件。此外，数据集具有丰富的人口统计学多样性，包括性别、年龄、肤色等，可以用于评估和缓解生物识别系统中的偏差。iCarB-Fingerprint是首个公开的车载指纹数据集。
关键设计：在数据采集过程中，使用了两种不同的指纹扫描仪，以增加数据的多样性。为了模拟真实驾驶环境中的噪声，添加了光照变化、背景噪声等干扰因素。在数据标注方面，使用了Fitzpatrick量表来描述志愿者的肤色，以便研究生物识别系统中的肤色偏差。
🖼️ 关键图片
📊 实验亮点
iCarB数据集是目前最大且最多样化的公开车载生物识别数据集，包含人脸、指纹和语音三种模态。它具有丰富的人口统计学多样性，包括50/50的性别比例和覆盖整个Fitzpatrick量表的光谱的肤色。该数据集为车载生物识别研究提供了宝贵资源，并为开发更准确、鲁棒和公平的生物识别系统奠定了基础。
🎯 应用场景
该数据集可用于开发更安全、便捷的车载身份验证系统，例如无钥匙进入、个性化驾驶设置和驾驶员疲劳检测。此外，该数据集还可用于研究生物识别系统中的偏差，并开发更公平的算法。其潜在应用领域包括汽车安全、智能交通和生物特征识别研究。
📄 摘要（原文）
We present three biometric datasets (iCarB-Face, iCarB-Fingerprint, iCarB-Voice) containing face videos, fingerprint images, and voice samples, collected inside a car from 200 consenting volunteers. The data was acquired using a near-infrared camera, two fingerprint scanners, and two microphones, while the volunteers were seated in the driver's seat of the car. The data collection took place while the car was parked both indoors and outdoors, and different "noises" were added to simulate non-ideal biometric data capture that may be encountered in real-life driver recognition. Although the datasets are specifically tailored to in-vehicle biometric recognition, their utility is not limited to the automotive environment. The iCarB datasets, which are available to the research community, can be used to: (i) evaluate and benchmark face, fingerprint, and voice recognition systems (we provide several evaluation protocols); (ii) create multimodal pseudo-identities, to train/test multimodal fusion algorithms; (iii) create Presentation Attacks from the biometric data, to evaluate Presentation Attack Detection algorithms; (iv) investigate demographic and environmental biases in biometric systems, using the provided metadata. To the best of our knowledge, ours are the largest and most diverse publicly available in-vehicle biometric datasets. Most other datasets contain only one biometric modality (usually face), while our datasets consist of three modalities, all acquired in the same automotive environment. Moreover, iCarB-Fingerprint seems to be the first publicly available in-vehicle fingerprint dataset. Finally, the iCarB datasets boast a rare level of demographic diversity among the 200 data subjects, including a 50/50 gender split, skin colours across the whole Fitzpatrick-scale spectrum, and a wide age range (18-60+). So, these datasets will be valuable for advancing biometrics research.