ShARc: Shape and Appearance Recognition for Person Identification In-the-wild

📄 arXiv: 2310.15946v1 📥 PDF

作者: Haidong Zhu, Wanrong Zheng, Zhaoheng Zheng, Ram Nevatia

分类: cs.CV

发布日期: 2023-10-24

备注: WACV 2024

💡 一句话要点

提出ShARc以解决复杂环境下的人物识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人物识别 多模态融合 3D形状 姿势编码 外观特征 注意力机制 生物识别 视频分析

📋 核心要点

  1. 现有方法在复杂环境下的人物识别中面临外观变化和遮挡等挑战，导致识别精度低。
  2. ShARc通过引入姿势与形状编码器和聚合外观编码器，结合3D形状和外观特征，提升识别能力。
  3. 在多个公共数据集上，ShARc显著超越了现有的最先进方法，展示了其有效性。

📝 摘要（中文）

在生物识别分析中，在不受限制的视频环境中识别个体是一项有价值但具有挑战性的任务，主要由于外观、环境、退化和遮挡的变化。本文提出了ShARc，这是一种多模态方法，强调3D身体形状、姿势和外观。我们引入了两个编码器：姿势与形状编码器（PSE）和聚合外观编码器（AAE）。PSE通过二值化轮廓、骨架运动和3D身体形状来编码身体形状，而AAE提供两级时间外观特征聚合：基于注意力的特征聚合和平均聚合。我们在公共数据集CCVID、MEVID和BRIAR上展示了显著的性能提升。

🔬 方法详解

问题定义：本文旨在解决在不受限制的视频环境中进行人物识别的挑战，现有方法在外观变化、环境干扰和遮挡情况下表现不佳，导致识别精度下降。

核心思路：ShARc通过结合3D身体形状、姿势和外观特征，采用多模态编码策略，旨在提高在复杂环境下的识别准确性。

技术框架：ShARc的整体架构包括两个主要模块：姿势与形状编码器（PSE）和聚合外观编码器（AAE）。PSE负责提取身体形状特征，而AAE则通过注意力机制和平均聚合来处理外观特征。

关键创新：本研究的创新点在于引入了基于注意力的特征聚合和新的扁平化层设计，以提取更具区分性的特征并减少过拟合，这在现有方法中尚未实现。

关键设计：在AAE中，采用空间和时间注意力机制来聚焦于关键区域，同时在平均聚合后引入扁平化层，以增强特征的可区分性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在公共数据集CCVID、MEVID和BRIAR上，ShARc的识别性能显著优于现有最先进的方法，具体提升幅度达到XX%，展示了其在复杂场景下的有效性和鲁棒性。

🎯 应用场景

ShARc的研究成果在安防监控、智能交通、社交媒体分析等领域具有广泛的应用潜力。通过提高在复杂环境下的人物识别能力，该技术能够有效提升安全性和用户体验，推动相关行业的发展。

📄 摘要（原文）

Identifying individuals in unconstrained video settings is a valuable yet challenging task in biometric analysis due to variations in appearances, environments, degradations, and occlusions. In this paper, we present ShARc, a multimodal approach for video-based person identification in uncontrolled environments that emphasizes 3-D body shape, pose, and appearance. We introduce two encoders: a Pose and Shape Encoder (PSE) and an Aggregated Appearance Encoder (AAE). PSE encodes the body shape via binarized silhouettes, skeleton motions, and 3-D body shape, while AAE provides two levels of temporal appearance feature aggregation: attention-based feature aggregation and averaging aggregation. For attention-based feature aggregation, we employ spatial and temporal attention to focus on key areas for person distinction. For averaging aggregation, we introduce a novel flattening layer after averaging to extract more distinguishable information and reduce overfitting of attention. We utilize centroid feature averaging for gallery registration. We demonstrate significant improvements over existing state-of-the-art methods on public datasets, including CCVID, MEVID, and BRIAR.