Enhancing Visual Representation for Text-based Person Searching

📄 arXiv: 2412.20646v1 📥 PDF

作者: Wei Shen, Ming Fang, Yuxia Wang, Jiafeng Xiao, Diping Li, Huangqun Chen, Ling Xu, Weifeng Zhang

分类: cs.CV

发布日期: 2024-12-30

🔗 代码/项目: GITHUB

💡 一句话要点

提出VFE-TPS模型，增强视觉表征以提升文本行人检索精度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本行人检索 视觉特征增强 多模态学习 CLIP模型 掩码图像建模

📋 核心要点

  1. 现有文本行人检索方法缺乏对视觉细节的理解，易受身份混淆影响，限制了检索精度。
  2. VFE-TPS模型利用CLIP学习多模态特征，通过辅助任务增强局部视觉细节学习和全局身份感知能力。
  3. 实验表明，VFE-TPS在三个基准数据集上显著提升了Rank-1准确率，验证了视觉增强的有效性。

📝 摘要（中文）

本文提出了一种视觉特征增强的文本行人检索模型VFE-TPS，旨在解决现有方法在理解视觉细节方面的不足以及身份混淆导致的检索精度限制。该模型利用预训练的多模态骨干网络CLIP学习基础的多模态特征，并构建了文本引导的掩码图像建模任务，以增强模型学习局部视觉细节的能力，无需显式标注。此外，设计了身份监督的全局视觉特征校准任务，引导模型学习身份相关的全局视觉特征。实验结果表明，所提出的模型在三个基准数据集上均优于现有方法，Rank-1 准确率显著提升约1%~9%。代码已开源。

🔬 方法详解

问题定义：文本行人检索旨在根据文本描述从大规模图像数据库中检索匹配的行人。现有方法依赖于在单模态数据上预训练的图像和文本编码器，提取全局和局部特征，然后进行显式的全局-局部对齐。然而，这些方法在理解视觉细节方面存在不足，容易造成身份混淆，从而限制了检索精度。

核心思路：论文的核心思路是重新强调视觉特征在文本行人检索中的重要性，并设计辅助任务来增强模型对视觉细节的理解和身份感知能力。通过利用预训练的CLIP模型，并结合文本引导的掩码图像建模和身份监督的全局视觉特征校准，使模型能够更好地理解图像中的视觉信息，从而提高检索精度。

技术框架：VFE-TPS模型首先利用预训练的CLIP模型提取图像和文本的基础多模态特征。然后，通过文本引导的掩码图像建模任务，迫使模型学习图像的局部视觉细节。同时，利用身份监督的全局视觉特征校准任务，引导模型学习身份相关的全局视觉特征。最后，将学习到的视觉和文本特征进行对齐，用于行人检索。

关键创新：该论文的关键创新在于提出了两个辅助任务：文本引导的掩码图像建模和身份监督的全局视觉特征校准。文本引导的掩码图像建模任务能够有效地增强模型对局部视觉细节的理解，而身份监督的全局视觉特征校准任务则能够引导模型学习身份相关的全局视觉特征。这两个任务的结合，使得模型能够更好地理解图像中的视觉信息，从而提高检索精度。与现有方法相比，VFE-TPS模型更加注重视觉特征的学习和利用。

关键设计：文本引导的掩码图像建模任务通过随机mask图像的部分区域，并利用文本描述作为指导，迫使模型预测被mask区域的内容。身份监督的全局视觉特征校准任务则利用行人的身份信息，对全局视觉特征进行校准，使得模型能够更好地学习身份相关的特征。损失函数包括掩码图像建模损失和身份分类损失。具体的网络结构和参数设置在论文中有详细描述，但未在摘要中明确提及。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VFE-TPS模型在三个基准数据集上均取得了显著的性能提升，Rank-1准确率提升幅度约为1%~9%。实验结果表明，所提出的视觉特征增强方法能够有效地提高文本行人检索的精度，优于现有的方法。

🎯 应用场景

该研究成果可应用于智能安防、智慧城市等领域，例如在监控视频中根据文本描述快速检索目标人物，提高搜索效率和准确性。未来可进一步探索更复杂的文本描述和行人姿态变化情况下的检索性能，并应用于更广泛的视频检索任务。

📄 摘要（原文）

Text-based person search aims to retrieve the matched pedestrians from a large-scale image database according to the text description. The core difficulty of this task is how to extract effective details from pedestrian images and texts, and achieve cross-modal alignment in a common latent space. Prior works adopt image and text encoders pre-trained on unimodal data to extract global and local features from image and text respectively, and then global-local alignment is achieved explicitly. However, these approaches still lack the ability of understanding visual details, and the retrieval accuracy is still limited by identity confusion. In order to alleviate the above problems, we rethink the importance of visual features for text-based person search, and propose VFE-TPS, a Visual Feature Enhanced Text-based Person Search model. It introduces a pre-trained multimodal backbone CLIP to learn basic multimodal features and constructs Text Guided Masked Image Modeling task to enhance the model's ability of learning local visual details without explicit annotation. In addition, we design Identity Supervised Global Visual Feature Calibration task to guide the model learn identity-aware global visual features. The key finding of our study is that, with the help of our proposed auxiliary tasks, the knowledge embedded in the pre-trained CLIP model can be successfully adapted to text-based person search task, and the model's visual understanding ability is significantly enhanced. Experimental results on three benchmarks demonstrate that our proposed model exceeds the existing approaches, and the Rank-1 accuracy is significantly improved with a notable margin of about $1\%\sim9\%$. Our code can be found at https://github.com/zhangweifeng1218/VFE_TPS.