Comparative Analysis of Modality Fusion Approaches for Audio-Visual Person Identification and Verification

📄 arXiv: 2409.00562v2 📥 PDF

作者: Aref Farhadipour, Masoumeh Chapariniya, Teodora Vukovic, Volker Dellwo

分类: eess.AS, cs.CV, cs.MM, cs.SD

发布日期: 2024-08-31 (更新: 2024-11-02)

备注: This paper was accepted at the ICNLSP2024 conference

💡 一句话要点

对比语音-面部多模态融合策略，提升身份识别与验证精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 身份识别 身份验证 语音特征 面部特征

📋 核心要点

  1. 现有身份识别方法在复杂环境下表现不佳，需要融合多模态信息以提高鲁棒性。
  2. 本文探索语音和面部特征的不同融合策略，旨在提升身份识别和验证的准确率。
  3. 实验结果表明，Gammatonegram与面部特征融合在身份识别上达到98.37%的准确率。

📝 摘要（中文）

本文对比了三种用于人员身份识别和验证的多模态融合策略，通过整合语音和面部两种模态的信息来增强学习和理解。语音模态采用一维卷积神经网络提取x-vector特征，面部模态则利用预训练的VGGFace2网络和迁移学习。此外，还使用了Gammatonegram作为语音表示，并结合预训练的Darknet19网络。所提出的系统在VoxCeleb2数据集的测试集（118位说话人）上，采用K折交叉验证技术进行评估。在相同条件下，对单模态和三种多模态策略进行了比较评估。结果表明，Gammatonegram和面部特征的特征融合策略在人员身份识别任务中表现最佳，准确率达到98.37%。然而，在验证任务中，面部特征与x-vector的连接达到了0.62%的EER。

🔬 方法详解

问题定义：论文旨在解决音频-视觉场景下，如何有效融合语音和面部信息，以提升人员身份识别和验证的准确率。现有方法在处理噪声、光照变化等问题时，性能会显著下降，因此需要更鲁棒的多模态融合策略。

核心思路：论文的核心思路是探索不同的多模态融合策略，包括特征层面的融合和决策层面的融合，并比较它们在身份识别和验证任务中的性能。通过实验分析，找到最适合语音和面部特征融合的方法，从而提高系统的整体性能。

技术框架：整体框架包括以下几个主要模块：1) 语音特征提取：使用一维卷积神经网络提取x-vector特征，以及使用Gammatonegram作为语音表示并结合预训练的Darknet19网络。2) 面部特征提取：利用预训练的VGGFace2网络和迁移学习提取面部特征。3) 多模态融合：探索三种融合策略，包括特征拼接、特征加权融合等。4) 身份识别和验证：使用分类器或相似度度量进行身份识别和验证。

关键创新：论文的关键创新在于对多种多模态融合策略进行了全面的比较分析，并针对语音和面部特征的特点，探索了不同的融合方式。此外，论文还使用了Gammatonegram作为语音表示，并结合预训练的Darknet19网络，这是一种相对新颖的方法。

关键设计：在语音特征提取方面，x-vector的维度和网络结构的选择，Gammatonegram的参数设置，以及Darknet19网络的微调策略都是关键设计。在面部特征提取方面，VGGFace2网络的层数选择和迁移学习的策略至关重要。在多模态融合方面，特征拼接的位置、加权融合的权重设置，以及分类器的选择都会影响最终的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Gammatonegram和面部特征的特征融合策略在人员身份识别任务中表现最佳，准确率达到98.37%。在验证任务中，面部特征与x-vector的连接达到了0.62%的EER。这些结果表明，合理的多模态融合策略可以显著提升身份识别和验证的性能。

🎯 应用场景

该研究成果可应用于智能安防、门禁系统、视频会议、人机交互等领域。通过融合语音和面部信息，可以提高身份验证的准确性和安全性，减少误识率。未来，该技术有望在更复杂的场景下实现更可靠的身份识别，例如在嘈杂环境或光线不足的情况下。

📄 摘要（原文）

Multimodal learning involves integrating information from various modalities to enhance learning and comprehension. We compare three modality fusion strategies in person identification and verification by processing two modalities: voice and face. In this paper, a one-dimensional convolutional neural network is employed for x-vector extraction from voice, while the pre-trained VGGFace2 network and transfer learning are utilized for face modality. In addition, gammatonegram is used as speech representation in engagement with the Darknet19 pre-trained network. The proposed systems are evaluated using the K-fold cross-validation technique on the 118 speakers of the test set of the VoxCeleb2 dataset. The comparative evaluations are done for single-modality and three proposed multimodal strategies in equal situations. Results demonstrate that the feature fusion strategy of gammatonegram and facial features achieves the highest performance, with an accuracy of 98.37% in the person identification task. However, concatenating facial features with the x-vector reaches 0.62% for EER in verification tasks.