Multi-Granularity Representation Learning for Sketch-based Dynamic Face Image Retrieval

📄 arXiv: 2401.00371v1 📥 PDF

作者: Liang Wang, Dawei Dai, Shiyu Fu, Guoyin Wang

分类: cs.CV

发布日期: 2023-12-31

备注: 5 pages,5 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出多粒度表示学习方法，解决草图引导的动态人脸图像检索中的早期检索难题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 草图检索 人脸识别 多粒度学习 表示学习 图像检索

📋 核心要点

  1. SLFIR早期检索性能差，主要挑战在于部分草图与完整人脸照片之间存在巨大差距。
  2. 提出多粒度表示学习方法，学习草图不同粒度区域的表示，融合草图和图像的多粒度区域信息。
  3. 实验结果表明，该方法在两个数据集上，早期检索性能优于现有最佳方法。

📝 摘要（中文）

在特定场景中，人脸草图可用于身份识别。然而，绘制人脸草图通常需要高超的技巧且耗时，限制了其在实际场景中的广泛应用。无草图人脸图像检索（SLFIR）的新框架试图通过提供人与机器在绘制过程中的交互方式来克服这些障碍。考虑到SLFIR问题，部分草图（笔画很少）与完整人脸照片之间存在巨大差距，导致早期阶段性能较差。在本研究中，我们提出了一种多粒度（MG）表示学习（MGRL）方法来解决SLFIR问题，其中我们学习部分草图的不同粒度区域的表示，然后，通过组合草图和图像的所有MG区域，确定最终距离。在实验中，我们的方法在两个可访问的数据集上，在早期检索方面优于最先进的基线方法。

🔬 方法详解

问题定义：论文旨在解决草图引导的动态人脸图像检索（SLFIR）问题，特别是在检索的早期阶段，由于草图笔画较少，与完整人脸图像的差距较大，导致检索性能不佳。现有方法难以有效提取和匹配部分草图与完整人脸图像之间的特征，造成检索准确率低。

核心思路：论文的核心思路是利用多粒度表示学习，将草图和人脸图像分解为不同粒度的区域，分别学习这些区域的表示，然后将这些多粒度区域的表示进行融合，从而更全面地捕捉草图和人脸图像的特征，弥补部分草图信息不足的问题。通过多粒度表示，可以更好地处理草图和图像之间的差异，提高检索的准确性。

技术框架：整体框架包含以下几个主要步骤：1) 对草图和人脸图像进行区域划分，得到不同粒度的区域；2) 使用卷积神经网络（CNN）等模型学习每个区域的特征表示；3) 将不同粒度区域的特征表示进行融合，得到草图和人脸图像的最终表示；4) 计算草图和人脸图像表示之间的距离，用于检索。

关键创新：该方法最重要的创新在于引入了多粒度表示学习，能够从不同层次提取草图和人脸图像的特征。与传统方法只关注全局特征或单一粒度特征相比，多粒度表示能够更全面地捕捉图像的信息，从而提高检索的准确性。

关键设计：具体的技术细节包括：1) 区域划分策略，例如使用滑动窗口或基于语义分割的方法；2) 特征提取模型的选择，例如使用预训练的ResNet或VGG网络；3) 特征融合方法，例如使用加权平均或注意力机制；4) 损失函数的设计，例如使用对比损失或三元组损失，以优化特征表示的区分性。

📊 实验亮点

实验结果表明，该方法在两个公开数据集上，早期检索性能显著优于现有最先进的基线方法。具体而言，在Rank-1检索准确率上，该方法相比于最佳基线方法提升了X%（具体数值未知），证明了多粒度表示学习在解决SLFIR问题上的有效性。代码已开源。

🎯 应用场景

该研究成果可应用于公安刑侦领域，辅助罪犯身份识别；也可应用于智能安防领域，提升监控系统的检索效率。此外，该技术还可扩展到其他图像检索任务，例如商品检索、医学图像检索等，具有广泛的应用前景和实际价值。未来，该技术有望在人机交互、虚拟现实等领域发挥重要作用。

📄 摘要（原文）

In specific scenarios, face sketch can be used to identify a person. However, drawing a face sketch often requires exceptional skill and is time-consuming, limiting its widespread applications in actual scenarios. The new framework of sketch less face image retrieval (SLFIR)[1] attempts to overcome the barriers by providing a means for humans and machines to interact during the drawing process. Considering SLFIR problem, there is a large gap between a partial sketch with few strokes and any whole face photo, resulting in poor performance at the early stages. In this study, we propose a multigranularity (MG) representation learning (MGRL) method to address the SLFIR problem, in which we learn the representation of different granularity regions for a partial sketch, and then, by combining all MG regions of the sketches and images, the final distance was determined. In the experiments, our method outperformed state-of-the-art baselines in terms of early retrieval on two accessible datasets. Codes are available at https://github.com/ddw2AIGROUP2CQUPT/MGRL.