Estimating Human Poses Across Datasets: A Unified Skeleton and Multi-Teacher Distillation Approach

📄 arXiv: 2405.20084v1 📥 PDF

作者: Muhammad Saif Ullah Khan, Dhavalkumar Limbachiya, Didier Stricker, Muhammad Zeshan Afzal

分类: cs.CV

发布日期: 2024-05-30

备注: 15 pages (with references)

💡 一句话要点

提出统一骨架与多教师蒸馏方法，提升跨数据集人体姿态估计泛化性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人体姿态估计 跨数据集学习 知识蒸馏 统一骨架 模型泛化

📋 核心要点

  1. 现有姿态估计方法受限于不同数据集骨架标注不一致，导致模型泛化能力差。
  2. 论文提出统一骨架表示，并通过多教师知识蒸馏，使模型学习到更通用的姿态特征。
  3. 实验表明，该方法显著提升了跨数据集的姿态估计精度，尤其是在Halpe数据集上。

📝 摘要（中文）

人体姿态估计是计算机视觉中的关键任务，广泛应用于活动识别和交互系统。然而，不同数据集标注骨架的不一致性给开发通用模型带来了挑战。为了解决这个问题，我们提出了一种新颖的方法，将多教师知识蒸馏与统一骨架表示相结合。我们的网络在COCO和MPII数据集上联合训练，分别包含17和16个关键点。我们通过预测一个扩展的21个关键点集合来展示增强的适应性，比原始标注多4个（COCO）和5个（MPII），从而提高跨数据集的泛化能力。我们的联合模型实现了70.89和76.40的平均精度，而分别在单个数据集上训练并在两个数据集上评估时，平均精度为53.79和55.78。此外，我们还在Halpe数据集上评估了我们两个模型预测的所有21个点，AP分别为66.84和72.75。这突出了我们的技术在解决姿态估计研究和应用中最紧迫的挑战之一——骨骼标注不一致性方面的潜力。

🔬 方法详解

问题定义：人体姿态估计旨在从图像或视频中识别和定位人体关键点。现有的姿态估计模型通常在特定数据集上训练，由于不同数据集使用的骨架结构和关键点定义存在差异，导致模型在跨数据集应用时性能显著下降。这种标注不一致性是制约姿态估计模型通用性的主要瓶颈。

核心思路：论文的核心思路是学习一个统一的骨架表示，并利用多教师知识蒸馏来提升模型的泛化能力。通过将不同数据集的关键点映射到一个统一的、更大的关键点集合上，模型可以学习到更鲁棒和通用的姿态特征。多教师知识蒸馏则利用多个在不同数据集上训练的模型作为教师，指导学生模型学习，从而融合不同数据集的知识。

技术框架：整体框架包含以下几个主要步骤：1) 统一骨架表示：将COCO和MPII数据集的关键点映射到一个包含21个关键点的统一骨架上。2) 多教师模型训练：分别在COCO和MPII数据集上训练两个教师模型。3) 学生模型训练：使用统一骨架表示，并在COCO和MPII数据集上联合训练一个学生模型。同时，利用多教师知识蒸馏，让学生模型学习教师模型的输出。

关键创新：该论文的关键创新在于将统一骨架表示和多教师知识蒸馏相结合，从而有效地解决了跨数据集姿态估计中的标注不一致性问题。通过学习一个更通用的姿态表示，模型可以更好地泛化到不同的数据集上。此外，多教师知识蒸馏能够融合不同数据集的知识，进一步提升模型的性能。

关键设计：论文中关键的设计包括：1) 统一骨架的选取：选择一个包含足够关键点的骨架，能够覆盖不同数据集的关键点。2) 知识蒸馏损失函数：使用合适的损失函数来衡量学生模型和教师模型之间的输出差异，例如L2损失或KL散度。3) 网络结构：可以使用现有的姿态估计网络结构，例如Stacked Hourglass或Simple Baseline，并进行适当的修改以适应统一骨架的输入和输出。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，该方法在跨数据集姿态估计任务中取得了显著的性能提升。在COCO和MPII数据集上联合训练的模型，在两个数据集上的平均精度分别提升至70.89和76.40，相比于单数据集训练的模型，分别提升了17.1和20.62个百分点。此外，在Halpe数据集上的评估结果也表明，该方法能够有效地泛化到新的数据集上，AP值分别达到66.84和72.75。

🎯 应用场景

该研究成果可广泛应用于各种需要人体姿态估计的场景，例如：动作识别、人机交互、运动分析、虚拟现实和增强现实等。通过提升跨数据集的泛化能力，该方法可以降低模型部署的成本，并提高在实际应用中的鲁棒性。未来，该方法可以进一步扩展到更多的数据集和更复杂的场景中。

📄 摘要（原文）

Human pose estimation is a key task in computer vision with various applications such as activity recognition and interactive systems. However, the lack of consistency in the annotated skeletons across different datasets poses challenges in developing universally applicable models. To address this challenge, we propose a novel approach integrating multi-teacher knowledge distillation with a unified skeleton representation. Our networks are jointly trained on the COCO and MPII datasets, containing 17 and 16 keypoints, respectively. We demonstrate enhanced adaptability by predicting an extended set of 21 keypoints, 4 (COCO) and 5 (MPII) more than original annotations, improving cross-dataset generalization. Our joint models achieved an average accuracy of 70.89 and 76.40, compared to 53.79 and 55.78 when trained on a single dataset and evaluated on both. Moreover, we also evaluate all 21 predicted points by our two models by reporting an AP of 66.84 and 72.75 on the Halpe dataset. This highlights the potential of our technique to address one of the most pressing challenges in pose estimation research and application - the inconsistency in skeletal annotations.