MimicGait: A Model Agnostic approach for Occluded Gait Recognition using Correlational Knowledge Distillation

📄 arXiv: 2501.15666v1 📥 PDF

作者: Ayush Gupta, Rama Chellappa

分类: cs.CV

发布日期: 2025-01-26

备注: Accepted to WACV 2025 as Poster

🔗 代码/项目: GITHUB

💡 一句话要点

MimicGait：一种模型无关的关联知识蒸馏方法，用于解决遮挡下的步态识别问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 步态识别 遮挡处理 知识蒸馏 关联学习 可见性估计 模型无关 多示例学习

📋 核心要点

  1. 现有步态识别系统在复杂户外场景中，容易受到遮挡的影响，导致识别性能下降，缺乏有效应对。
  2. MimicGait利用关联知识蒸馏，通过可见性估计网络引导，学习被遮挡步态模式中的序列间和序列内相关性。
  3. 在多个真实世界数据集上的实验表明，MimicGait在遮挡场景下能够有效提升步态识别的准确率。

📝 摘要（中文）

本文提出了一种名为MimicGait的模型无关方法，用于解决遮挡场景下的步态识别问题。现有的步态识别系统在近距离受控环境中表现良好，但户外复杂场景下的遮挡问题尚未得到充分重视。MimicGait通过多示例关联蒸馏损失训练网络，利用辅助可见性估计网络指导模仿网络的训练，从而捕捉受试者被遮挡步态模式中的序列间和序列内相关性。在GREW、Gait3D和BRIAR等具有挑战性的真实世界数据集上验证了该方法的有效性。代码已开源。

🔬 方法详解

问题定义：论文旨在解决真实场景下步态识别中普遍存在的遮挡问题。现有方法在处理遮挡时性能显著下降，因为遮挡破坏了步态序列的完整性，使得模型难以提取有效的步态特征。

核心思路：论文的核心思路是利用知识蒸馏，让一个“模仿网络”（Mimic Network）学习一个“教师网络”（Teacher Network）的知识，即使在遮挡情况下也能保持较好的识别性能。通过关联蒸馏损失，迫使模仿网络学习步态序列中不同部分之间的相关性，从而弥补遮挡带来的信息缺失。

技术框架：MimicGait包含两个主要模块：可见性估计网络（Visibility Estimation Network）和模仿网络（Mimic Network）。可见性估计网络用于估计步态序列中每个部分的可见性，为模仿网络的训练提供指导。模仿网络是最终用于步态识别的网络，通过多示例关联蒸馏损失进行训练，学习教师网络的知识和步态序列的相关性。整体流程是先用可见性估计网络估计可见性，然后用估计的可见性指导模仿网络的训练。

关键创新：该方法最重要的创新点在于提出了多示例关联蒸馏损失（Multi-Instance Correlational Distillation Loss）。该损失函数不仅考虑了单个步态序列的特征，还考虑了不同步态序列之间的相关性，以及序列内部不同部分之间的相关性。这种关联蒸馏能够有效地弥补遮挡带来的信息损失，提高模型的鲁棒性。与现有方法相比，MimicGait是一种模型无关的方法，可以应用于不同的步态识别模型。

关键设计：可见性估计网络可以使用现有的分割模型进行训练，用于估计每个像素的可见性概率。多示例关联蒸馏损失包含两个部分：序列间关联损失和序列内关联损失。序列间关联损失用于约束模仿网络学习不同步态序列之间的相关性，序列内关联损失用于约束模仿网络学习单个步态序列内部不同部分之间的相关性。损失函数的具体形式未知，需要参考论文原文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MimicGait在GREW、Gait3D和BRIAR等具有挑战性的真实世界数据集上进行了评估，实验结果表明，该方法在遮挡场景下能够显著提升步态识别的准确率。具体的性能数据和提升幅度未知，需要参考论文原文。代码已开源，方便研究人员进行复现和进一步研究。

🎯 应用场景

MimicGait在安防监控、智能交通、智慧城市等领域具有广泛的应用前景。例如，在安防监控中，可以用于在复杂环境下识别犯罪嫌疑人；在智能交通中，可以用于行人跟踪和行为分析；在智慧城市中，可以用于人群密度估计和异常事件检测。该研究有助于提升步态识别技术在真实场景下的可用性和可靠性。

📄 摘要（原文）

Gait recognition is an important biometric technique over large distances. State-of-the-art gait recognition systems perform very well in controlled environments at close range. Recently, there has been an increased interest in gait recognition in the wild prompted by the collection of outdoor, more challenging datasets containing variations in terms of illumination, pitch angles, and distances. An important problem in these environments is that of occlusion, where the subject is partially blocked from camera view. While important, this problem has received little attention. Thus, we propose MimicGait, a model-agnostic approach for gait recognition in the presence of occlusions. We train the network using a multi-instance correlational distillation loss to capture both inter-sequence and intra-sequence correlations in the occluded gait patterns of a subject, utilizing an auxiliary Visibility Estimation Network to guide the training of the proposed mimic network. We demonstrate the effectiveness of our approach on challenging real-world datasets like GREW, Gait3D and BRIAR. We release the code in https://github.com/Ayush-00/mimicgait.