Improving 3D Finger Traits Recognition via Generalizable Neural Rendering

📄 arXiv: 2410.09582v1 📥 PDF

作者: Hongbin Xu, Junduan Huang, Yuer Ma, Zifeng Li, Wenxiong Kang

分类: cs.CV, cs.AI

发布日期: 2024-10-12

备注: This paper is accepted in IJCV. For further information and access to the code, please visit our project page: https://scut-bip-lab.github.io/fingernerf/

💡 一句话要点

提出FingerNeRF，通过可泛化的神经渲染提升3D手指特征识别性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D手指生物识别 神经辐射场 NeRF 特征引导 隐式表示

📋 核心要点

  1. 现有3D手指生物识别方法依赖显式3D重建，存在信息丢失和硬件依赖性强的问题。
  2. FingerNeRF利用神经辐射场隐式学习3D信息，避免显式重建，并引入特征引导的几何先验。
  3. 实验表明，FingerNeRF在多个数据集上取得了优异的识别性能，显著降低了错误率。

📝 摘要（中文）

本文提出了一种用于3D手指生物识别的新型可泛化神经辐射场FingerNeRF。现有方法采用显式的3D流程，先重建模型，然后从3D模型中提取特征，但存在信息丢失和硬件算法耦合问题。FingerNeRF以隐式方式解决该问题，利用神经辐射场处理3D重建。为解决可能导致错误3D几何的形状-辐射模糊问题，引入了基于指纹或指静脉等二值手指特征对应关系的几何先验。提出了Trait Guided Transformer (TGT)模块，以增强特征对应关系。此外，还通过深度蒸馏损失和特征引导渲染损失，在体渲染损失上施加额外的几何约束。为了评估该方法在不同模态上的性能，收集了两个新的数据集：SCUT-Finger-3D（手指图像）和SCUT-FingerVein-3D（指静脉图像）。实验结果表明，FingerNeRF在SCUT-Finger-3D数据集上实现了4.37%的EER，在SCUT-FingerVein-3D数据集上实现了8.12%的EER，在UNSW-3D数据集上实现了2.90%的EER，证明了该隐式方法在3D手指生物识别方面的优越性。

🔬 方法详解

问题定义：现有3D手指生物识别方法通常采用显式的3D重建流程，即先从图像重建3D模型，然后从3D模型中提取特征进行识别。这种方法的主要痛点在于：一是3D重建过程中不可避免地会丢失部分原始信息；二是3D重建算法通常与特定的硬件设备紧密耦合，导致泛化能力较差。因此，论文旨在探索是否可以避免显式的3D重建，直接从图像中学习用于识别的特征。

核心思路：论文的核心思路是利用神经辐射场（NeRF）来隐式地学习3D手指的几何和外观信息，从而避免显式的3D重建过程。通过将手指图像渲染成3D表示，并结合手指特征（如指纹、指静脉）的引导，可以有效地解决NeRF中存在的形状-辐射模糊问题，从而提高3D手指生物识别的准确性和鲁棒性。

技术框架：FingerNeRF的整体框架主要包括以下几个模块：1) 输入图像：输入单张或多张手指图像；2) 特征提取：使用卷积神经网络提取图像特征；3) Trait Guided Transformer (TGT)：利用Transformer结构，结合手指特征的引导，增强特征之间的对应关系；4) 神经辐射场：使用NeRF将图像特征渲染成3D表示，包括密度和颜色；5) 渲染损失：使用渲染损失函数来优化NeRF的参数，包括深度蒸馏损失和特征引导渲染损失。

关键创新：论文最关键的创新点在于提出了FingerNeRF，一种基于神经辐射场的隐式3D手指生物识别方法。与现有方法的本质区别在于，FingerNeRF避免了显式的3D重建过程，而是直接从图像中学习用于识别的特征。此外，论文还提出了Trait Guided Transformer (TGT)模块，用于增强特征之间的对应关系，并引入了深度蒸馏损失和特征引导渲染损失，以提高3D重建的准确性。

关键设计：在TGT模块中，使用了Transformer结构来建模特征之间的关系，并引入了手指特征的引导，以提高特征对应关系的准确性。在损失函数方面，除了标准的渲染损失外，还引入了深度蒸馏损失和特征引导渲染损失。深度蒸馏损失用于约束NeRF重建的深度信息，使其与真实的深度信息更加一致。特征引导渲染损失用于约束NeRF渲染的图像，使其与真实图像更加相似。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FingerNeRF在三个数据集上进行了评估，包括SCUT-Finger-3D、SCUT-FingerVein-3D和UNSW-3D。实验结果表明，FingerNeRF在SCUT-Finger-3D数据集上实现了4.37%的EER，在SCUT-FingerVein-3D数据集上实现了8.12%的EER，在UNSW-3D数据集上实现了2.90%的EER。这些结果表明，FingerNeRF在3D手指生物识别方面具有优越的性能，能够有效地降低错误率。

🎯 应用场景

该研究成果可应用于各种安全认证场景，例如门禁系统、移动支付、身份验证等。相较于传统的指纹识别技术，3D手指生物识别具有更高的安全性和防伪能力，能够有效防止伪造攻击。未来，该技术有望在金融、医疗、安防等领域得到广泛应用，提升身份认证的可靠性和安全性。

📄 摘要（原文）

3D biometric techniques on finger traits have become a new trend and have demonstrated a powerful ability for recognition and anti-counterfeiting. Existing methods follow an explicit 3D pipeline that reconstructs the models first and then extracts features from 3D models. However, these explicit 3D methods suffer from the following problems: 1) Inevitable information dropping during 3D reconstruction; 2) Tight coupling between specific hardware and algorithm for 3D reconstruction. It leads us to a question: Is it indispensable to reconstruct 3D information explicitly in recognition tasks? Hence, we consider this problem in an implicit manner, leaving the nerve-wracking 3D reconstruction problem for learnable neural networks with the help of neural radiance fields (NeRFs). We propose FingerNeRF, a novel generalizable NeRF for 3D finger biometrics. To handle the shape-radiance ambiguity problem that may result in incorrect 3D geometry, we aim to involve extra geometric priors based on the correspondence of binary finger traits like fingerprints or finger veins. First, we propose a novel Trait Guided Transformer (TGT) module to enhance the feature correspondence with the guidance of finger traits. Second, we involve extra geometric constraints on the volume rendering loss with the proposed Depth Distillation Loss and Trait Guided Rendering Loss. To evaluate the performance of the proposed method on different modalities, we collect two new datasets: SCUT-Finger-3D with finger images and SCUT-FingerVein-3D with finger vein images. Moreover, we also utilize the UNSW-3D dataset with fingerprint images for evaluation. In experiments, our FingerNeRF can achieve 4.37% EER on SCUT-Finger-3D dataset, 8.12% EER on SCUT-FingerVein-3D dataset, and 2.90% EER on UNSW-3D dataset, showing the superiority of the proposed implicit method in 3D finger biometrics.