Towards Billion-scale Multi-modal Biometric Search

📄 arXiv: 2605.07655v1 📥 PDF

作者: Arka Koner, Chetan S. Naik, Lokesh Kurre, Vivek Raghavan, Barada P. Sabut, Tanusree Deb Barma, Anoop M. Namboodiri, Anil K. Jain

分类: cs.CV, cs.AI

发布日期: 2026-05-08

💡 一句话要点

提出Bharat ABIS系统，实现十亿级多模态生物特征识别与高效去重

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生物特征识别 多模态融合 大规模检索 身份去重 深度学习 呈现攻击检测 高性能计算

📋 核心要点

  1. 核心问题：在十亿级超大规模数据库中，实现高精度、高吞吐量的多模态生物特征（指纹、人脸、虹膜）实时搜索与去重面临巨大算力与算法挑战。
  2. 方法要点：构建了基于开源架构的Bharat ABIS系统，通过模态特定的预处理、质量评估、PAD及高效嵌入学习，生成紧凑的13.5KB多模态级联模板。
  3. 实验或效果：在2.2亿规模图库上达到0.3% FNIR（FPIR=0.5%），并在单机环境下实现每秒100次搜索的吞吐量，性能媲美主流商业系统。

📝 摘要（中文）

在国家级身份识别系统中，对十亿级多模态生物特征数据库进行搜索，需要突破生物识别系统在采集、预处理、特征提取、准确性、匹配速度、呈现攻击检测（PAD）及特殊情况处理（如缺指）等方面的极限。本文首次深入探讨了名为Bharat ABIS的大规模多模态生物特征搜索系统，该系统基于开源架构构建。Bharat ABIS的端到端流水线通过模态特定的预处理（分割）、质量评估、PAD及嵌入学习（特征提取），为每个人生成13.5KB的级联模板。本文详细分析了各模态及其集成方式，以构建高效的1:N搜索（去重）方案。在从印度Aadhaar数据库15.5亿记录中随机抽取的2.2亿人口统计分层图库上进行评估，成年人探针在0.5%的误识率（FPIR）下实现了0.3%的拒识率（FNIR）。此外，在2000万图库上与三种先进的商业现成（COTS）系统进行了对比，并在单服务器（8x Nvidia H100）上实现了4000万图库下每秒100次搜索的吞吐量。

🔬 方法详解

问题定义：论文旨在解决国家级身份识别系统中，面对十亿级海量数据时，多模态生物特征（指纹、人脸、虹膜）在1:N搜索场景下的去重效率与识别精度瓶颈，特别是处理低质量图像、特殊生理缺损及大规模检索延迟的问题。

核心思路：采用模块化设计，将指纹、人脸、虹膜三种模态解耦处理，通过各模态专用的预处理与特征提取网络，将多模态信息融合为统一的紧凑型嵌入向量，从而在保证识别鲁棒性的同时，极大降低存储与检索开销。

技术框架：系统包含四个核心阶段：1. 模态特定的预处理（分割与质量评估）；2. 呈现攻击检测（PAD）以过滤欺诈样本；3. 深度学习特征提取，生成各模态嵌入；4. 级联模板生成与高效索引匹配，最终输出13.5KB的个人生物特征模板。

关键创新：首次公开了基于开源架构的十亿级多模态生物识别系统全链路实现，证明了在无需依赖昂贵闭源商业软件的情况下，通过优化流水线与硬件加速，能够实现国家级规模的生物特征比对任务。

关键设计：系统设计了针对不同模态的质量评估机制，确保仅高质量特征进入匹配阶段；采用级联模板压缩技术，将多模态信息压缩至13.5KB，并利用高性能GPU集群（H100）进行并行计算，实现了每秒百次搜索的工业级吞吐量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验在2.2亿规模的真实人口统计学图库上验证了系统性能，成年人探针在0.5%误识率下实现了0.3%的拒识率。在4000万规模图库的压力测试中，单台配备8块Nvidia H100 GPU的服务器实现了每秒100次搜索的吞吐量，性能表现优于或持平于主流商业现成（COTS）系统。

🎯 应用场景

该研究直接服务于国家级身份识别系统（如Aadhaar），在人口普查、社会福利发放、金融实名认证及公共安全领域具有极高的应用价值。其开源架构方案为大规模生物识别系统的自主可控提供了技术范式，显著降低了构建超大规模身份数据库的门槛。

📄 摘要（原文）

Searching a multi-biometric database of a billion records for a country-level identity system requires pushing the limits of all aspects of a biometric system, including acquisition, preprocessing, feature extraction, accuracy, matching speed, presentation attack detection, and handling of special cases (e.g., missing finger digits). This is the first paper that gives insights into such a large-scale multimodal biometric search system, called Bharat ABIS, based on open-source architectures. The end-to-end pipeline of Bharat ABIS processes fingerprint, face and iris modalities through modality-specific stages of preprocessing (segmentation), quality assessment, presentation attack detection, and learning an embedding (feature extraction), producing a concatenated template of 13.5KB per person. We present a detailed analysis of the modalities and how they are integrated to create an efficient and effective solution for 1:N search (de-duplication). Evaluations on a demographically stratified gallery of 220 million identities, randomly sampled from 1.55 billion records in India's Aadhaar database, yield an FNIR of 0.3% at an FPIR of 0.5%, for adult probes (over 18 years). We also compare the performance of Bharat ABIS against three state-of-the-art COTS systems on a 20M gallery. Our system achieves a throughput of 100 searches per second on a gallery of 40M on a single server (8xNvidia H100 GPUs, 2TB RAM).