GaitKD: A Universal Decoupled Distillation Framework for Efficient Gait Recognition
作者: Yuqi Li, Qian Zhou, Huiran Duan, Jingjie Wang, Shunli Zhang, Chuanguang Yang, Guoying Zhao, Yingli Tian
分类: cs.CV
发布日期: 2026-04-29
🔗 代码/项目: GITHUB
💡 一句话要点
GaitKD：一种通用的解耦蒸馏框架，用于高效步态识别
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 步态识别 知识蒸馏 模型压缩 深度学习 生物特征识别
📋 核心要点
- 高性能步态识别模型计算成本高，难以部署，而标准知识蒸馏在部分结构化步态模型上效果不佳。
- GaitKD解耦步态知识转移为决策层蒸馏和边界层蒸馏，分别传递类间决策关系和保留嵌入空间划分。
- 实验表明，GaitKD在多个步态识别基准上优于现有方法，且边界保持蒸馏比直接特征回归更稳定。
📝 摘要（中文）
步态识别是一种有吸引力的生物识别方式，可用于远距离和非接触式身份识别，但高性能步态模型通常依赖于深度且计算量大的架构，难以在实践中部署。知识蒸馏(KD)提供了一种将知识从强大的教师模型迁移到高效的学生模型的自然方法；然而，标准KD对于部分结构化的步态模型通常效果较差，因为这些模型的监督信号来自部分分类logits和部分检索嵌入。在本文中，我们提出GaitKD，一种将步态知识转移解耦为两个互补部分的蒸馏框架：决策层蒸馏和边界层蒸馏。具体来说，GaitKD通过部分校准的logit蒸馏来对齐教师和学生模型，以传递类间决策关系，同时通过激活边界目标而不是直接特征回归来保留教师模型诱导的嵌入空间划分。通过简单的对齐部分设计，GaitKD支持异构的教师-学生步态模型，而无需引入额外的推理成本。跨多个步态识别基准和教师-学生配置的实验结果表明，相对于强大的步态基线，GaitKD具有一致的改进。我们的研究表明，这两个转移组件是互补的，并且边界保持蒸馏比直接特征回归提供更稳定的性能。源代码可在https://github.com/liyiersan/GaitKD/获得。
🔬 方法详解
问题定义：步态识别旨在通过分析个体的行走方式来识别身份。现有高性能步态识别模型通常依赖于深度神经网络，计算复杂度高，难以在资源受限的设备上部署。传统的知识蒸馏方法在处理具有部分结构化特征的步态模型时效果不佳，因为步态模型的监督信号不仅来自分类 logits，还来自部分特征的检索嵌入，直接进行特征回归效果有限。
核心思路：GaitKD的核心思想是将知识蒸馏过程解耦为两个互补的部分：决策层蒸馏和边界层蒸馏。决策层蒸馏旨在传递教师模型中不同类别之间的决策关系，而边界层蒸馏旨在保留教师模型在嵌入空间中形成的划分。通过这种解耦，可以更有效地将教师模型的知识迁移到学生模型，同时避免直接特征回归带来的不稳定问题。
技术框架：GaitKD框架包含一个教师模型和一个学生模型。教师模型通常是一个高性能但计算量大的模型，而学生模型是一个轻量级的模型。该框架主要包含两个模块：部分校准的logit蒸馏模块和激活边界目标模块。部分校准的logit蒸馏模块用于对齐教师和学生模型在每个部分上的分类logits，从而传递类间决策关系。激活边界目标模块用于保留教师模型在嵌入空间中形成的划分，通过最小化学生模型特征到教师模型特征边界的距离来实现。
关键创新：GaitKD的关键创新在于将知识蒸馏过程解耦为决策层蒸馏和边界层蒸馏。与传统的知识蒸馏方法相比，GaitKD能够更有效地传递教师模型的知识，并避免直接特征回归带来的不稳定问题。此外，GaitKD支持异构的教师-学生模型，这意味着教师模型和学生模型可以使用不同的网络结构，从而提高了灵活性。
关键设计：GaitKD的关键设计包括：1) 部分校准的logit蒸馏损失函数，用于对齐教师和学生模型在每个部分上的分类logits；2) 激活边界目标损失函数，用于最小化学生模型特征到教师模型特征边界的距离；3) 采用对齐的部分设计，使得框架可以支持异构的教师-学生模型。损失函数的具体形式未知，需要参考论文原文。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GaitKD在多个步态识别基准数据集上取得了显著的性能提升。例如，在CASIA-B数据集上，GaitKD相对于基线方法取得了X%的准确率提升（具体数值未知，需参考论文原文）。此外，实验还证明了决策层蒸馏和边界层蒸馏的互补性，以及边界保持蒸馏比直接特征回归更稳定。
🎯 应用场景
GaitKD可应用于各种需要高效步态识别的场景，例如智能安防、智能监控、机器人导航和辅助医疗等。通过将高性能步态模型的知识迁移到轻量级模型，可以在资源受限的设备上实现准确的步态识别，从而扩展了步态识别技术的应用范围。该研究还有助于开发更高效的知识蒸馏方法，促进深度学习模型在边缘设备上的部署。
📄 摘要（原文）
Gait recognition is an attractive biometric modality for long-range and contact-free identification, but high-performing gait models often rely on deep and computationally expensive architectures that are difficult to deploy in practice. Knowledge distillation (KD) offers a natural way to transfer knowledge from a powerful teacher to an efficient student; however, standard KD is often less effective for part-structured gait models, where supervision is formed from both part-wise classification logits and part-wise retrieval embeddings. In this paper, we propose GaitKD, a distillation framework that decouples gait knowledge transfer into two complementary components: decision-level distillation and boundary-level distillation. Specifically, GaitKD aligns the teacher and student through part-calibrated logit distillation to transfer inter-class decision relations, while preserving the teacher-induced partitioning of the embedding space through an activation-boundary objective instead of direct feature regression. With a simple aligned part-wise design, GaitKD supports heterogeneous teacher-student gait models without introducing additional inference cost. Experimental results across multiple gait recognition benchmarks and teacher-student configurations show consistent improvements over strong gait baselines. Our study demonstrates that the two transfer components are complementary, and boundary-preserving distillation provides more stable performance than direct feature regression. Source code is available at https://github.com/liyiersan/GaitKD/