Latent Distillation for Continual Object Detection at the Edge

📄 arXiv: 2409.01872v1 📥 PDF

作者: Francesco Pasti, Marina Ceccon, Davide Dalle Pezze, Francesco Paissan, Elisabetta Farella, Gian Antonio Susto, Nicola Bellotto

分类: cs.CV, cs.AI

发布日期: 2024-09-03

备注: ECCV workshops, Computational Aspects of Deep Learning (CADL) 2024

💡 一句话要点

提出面向边缘设备持续目标检测的潜空间蒸馏方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 持续学习 目标检测 知识蒸馏 边缘计算 潜空间蒸馏

📋 核心要点

  1. 现有目标检测方法难以适应数据分布偏移，持续学习为解决此问题提供了有效途径。
  2. 提出潜空间蒸馏（LD）方法，通过知识蒸馏在隐空间进行学习，降低计算和内存需求。
  3. 实验表明，该方法在VOC和COCO数据集上表现良好，显著降低了参数开销和计算量。

📝 摘要（中文）

本文针对目标检测领域中数据分布偏移的挑战，提出了一种适用于边缘设备的持续学习（CL）方法。针对汽车和机器人等动态环境中常见的边缘设备的内存和计算约束，本文研究了开源、轻量且快速的检测器NanoDet在持续学习目标检测（CLOD）中的适用性，并优于文献中使用的更大架构。此外，本文提出了一种名为潜空间蒸馏（LD）的新型CL方法，该方法在不显著影响检测性能的前提下，减少了最先进CL方法所需的操作数量和内存。在VOC和COCO基准测试中验证了该方法，与其他蒸馏方法相比，每次模型更新减少了74%的蒸馏参数开销和56%的浮点运算（FLOPs）。

🔬 方法详解

问题定义：论文旨在解决边缘设备上持续学习目标检测（CLOD）的资源限制问题。现有持续学习方法通常计算量大、内存占用高，难以直接部署在资源受限的边缘设备上。此外，现有方法在目标检测任务上的持续学习性能仍有提升空间。

核心思路：论文的核心思路是利用知识蒸馏，将先前任务学习到的知识迁移到新任务上，同时避免灾难性遗忘。通过在模型的隐空间进行蒸馏，可以更有效地传递知识，并减少蒸馏过程中的参数开销和计算量。

技术框架：整体框架包括一个轻量级的目标检测器（NanoDet）和一个潜空间蒸馏模块。首先，使用NanoDet作为基础检测器，针对每个新任务进行微调。然后，利用潜空间蒸馏模块，将先前任务的模型作为教师模型，当前任务的模型作为学生模型，在隐空间进行知识蒸馏。

关键创新：关键创新在于提出了潜空间蒸馏（LD）方法。与传统的输出空间蒸馏相比，LD在模型的中间层（即隐空间）进行蒸馏，可以更有效地传递特征表示和知识。此外，LD方法还减少了蒸馏参数的开销和计算量，使其更适合边缘设备。

关键设计：LD方法的关键设计包括：1) 选择合适的隐空间层进行蒸馏；2) 设计合适的蒸馏损失函数，例如L1损失或L2损失，用于衡量教师模型和学生模型在隐空间中的特征差异；3) 调整蒸馏损失的权重，以平衡新任务学习和知识保留。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的潜空间蒸馏方法在VOC和COCO数据集上取得了良好的性能。与其他蒸馏方法相比，该方法减少了74%的蒸馏参数开销和56%的浮点运算（FLOPs），同时保持了较高的检测精度。这表明该方法在边缘设备上具有显著的优势。

🎯 应用场景

该研究成果可应用于智能监控、自动驾驶、机器人等领域。在这些场景中，边缘设备需要不断学习新的目标类别，同时保持对先前学习到的类别的识别能力。该方法能够降低边缘设备的计算和存储负担，提高目标检测的实时性和准确性，具有重要的实际应用价值。

📄 摘要（原文）

While numerous methods achieving remarkable performance exist in the Object Detection literature, addressing data distribution shifts remains challenging. Continual Learning (CL) offers solutions to this issue, enabling models to adapt to new data while maintaining performance on previous data. This is particularly pertinent for edge devices, common in dynamic environments like automotive and robotics. In this work, we address the memory and computation constraints of edge devices in the Continual Learning for Object Detection (CLOD) scenario. Specifically, (i) we investigate the suitability of an open-source, lightweight, and fast detector, namely NanoDet, for CLOD on edge devices, improving upon larger architectures used in the literature. Moreover, (ii) we propose a novel CL method, called Latent Distillation~(LD), that reduces the number of operations and the memory required by state-of-the-art CL approaches without significantly compromising detection performance. Our approach is validated using the well-known VOC and COCO benchmarks, reducing the distillation parameter overhead by 74\% and the Floating Points Operations~(FLOPs) by 56\% per model update compared to other distillation methods.