PDNet: Exploring Pruning and Distillation for Real-Time Worker Activity Recognition in Industrial Assembly

📄 arXiv: 2610.26491v1 📥 PDF

作者: Malek Baba, Thinesh Thiyakesan Ponbagavathi, Alina Roitberg

分类: cs.CV

发布日期: 2026-10-19

备注: Published by SciTePress. ISBN 978-989-758-804-4

期刊: Proceedings of the 21st International Conference on Computer Vision Theory and Applications (VISAPP 2026), Volume 3, pages 624-630

DOI: 10.5220/0014477200004084

💡 一句话要点

提出PDNet框架以解决工业装配中的实时人类活动识别问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人类活动识别 知识蒸馏 结构化剪枝 3D卷积神经网络 工业装配 实时识别 模型压缩 智能制造

📋 核心要点

  1. 现有方法在工业装配中的实时人类活动识别面临准确性和模型大小的挑战，尤其是在资源受限的环境中。
  2. PDNet框架通过结构化剪枝和知识蒸馏相结合，优化3D卷积神经网络，旨在提高模型的紧凑性和识别准确性。
  3. 在MECCANO数据集上，PDNet的Top-1准确率从未蒸馏的剪枝模型的25.54%提升至39.46%，显示出显著的性能提升。

📝 摘要（中文）

本研究针对工业装配中的实时细粒度人类活动识别（HAR）问题，提出了PDNet框架，该框架联合利用结构化剪枝和知识蒸馏技术，优化3D卷积神经网络。首先，采用监督方式训练3D-CNN主干网络；接着，通过通道级结构化剪枝获得更紧凑的网络；最后，利用未剪枝的大型教师模型进行知识蒸馏，以恢复因剪枝而损失的准确性。在具有挑战性的MECCANO数据集上，未蒸馏的剪枝模型达到25.54%的Top-1准确率，而PDNet则提升至39.46%，模型大小仅为6.90 MB，计算量为3.78 GFLOPs。这些结果表明，PDNet中的蒸馏方法在恢复剪枝模型性能方面极为有效，显示出其在资源受限的工业装配HAR中的巨大潜力。

🔬 方法详解

问题定义：本论文旨在解决工业装配中实时人类活动识别的准确性和模型大小问题。现有方法在剪枝后往往导致性能下降，难以满足实际应用需求。

核心思路：PDNet框架通过结合结构化剪枝和知识蒸馏，旨在在保持模型紧凑性的同时，恢复因剪枝导致的准确性损失。这样的设计使得模型在资源受限的环境中依然能够高效运行。

技术框架：PDNet的整体架构包括三个主要阶段：首先训练一个3D-CNN主干网络；其次进行通道级结构化剪枝以减小模型体积；最后通过知识蒸馏从未剪枝的教师模型中提取知识，以恢复剪枝后模型的性能。

关键创新：PDNet的主要创新在于将结构化剪枝与知识蒸馏相结合，形成了一种新的优化策略。这种方法与传统的单一剪枝或蒸馏方法相比，能够更有效地恢复模型性能。

关键设计：在设计中，PDNet采用了通道级剪枝策略，确保剪枝后的模型仍能保持较高的表达能力。同时，知识蒸馏过程中的损失函数设计也经过精心调整，以最大限度地保留教师模型的知识。具体的网络结构和参数设置在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在MECCANO数据集上，PDNet的Top-1准确率从未蒸馏的剪枝模型的25.54%提升至39.46%，显示出显著的性能提升。该模型的大小仅为6.90 MB，计算量为3.78 GFLOPs，证明了其在资源受限环境中的高效性。

🎯 应用场景

该研究的PDNet框架具有广泛的应用潜力，特别是在工业装配线的自动化和智能化方面。通过提高人类活动识别的准确性和效率，PDNet能够帮助企业优化生产流程，降低人力成本，并提升安全性。此外，该方法的资源高效性使其适用于各种嵌入式和移动设备，推动智能制造的发展。

📄 摘要（原文）

In this work, we address real-time fine-grained human activity recognition (HAR) in industrial assembly and introduce PDNet, a new framework that jointly exploits structured pruning and knowledge distillation for 3D convolutional networks. We start by training a 3D-CNN backbone in a supervised manner. Then, PDNet applies channel-wise structured pruning to obtain a more compact network. In the third step, our method is optimized using knowledge distillation from the large unpruned teacher to recover accuracy lost due to pruning. On the challenging MECCANO dataset with an X3D-M backbone, the pruned model without distillation reaches a Top-1 accuracy of 25.54 %, while PDNet raises this to 39.46 %, with only 6.90 MB model size and 3.78 GFLOPs. These results show that distillation within PDNet is highly effective in restoring pruned model performance and highlight its high potential for resource-constrained HAR in industrial assembly.