Semantic Knowledge Distillation for Onboard Satellite Earth Observation Image Classification

📄 arXiv: 2411.00209v1 📥 PDF

作者: Thanh-Dung Le, Vu Nguyen Ha, Ti Ti Nguyen, Geoffrey Eappen, Prabhu Thiruvasagam, Hong-fu Chou, Duc-Dung Tran, Luis M. Garces-Socarras, Jorge L. Gonzalez-Rios, Juan Carlos Merlano-Duncan, Symeon Chatzinotas

分类: cs.CV, cs.LG, eess.SP

发布日期: 2024-10-31

备注: Under revisions

💡 一句话要点

提出动态加权知识蒸馏框架，用于资源受限的卫星遥感图像高效分类。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 地球观测 图像分类 卫星遥感 动态加权

📋 核心要点

  1. 现有知识蒸馏方法权重分配静态，无法根据教师模型的置信度动态调整，影响学生模型的学习效率。
  2. 提出一种动态加权知识蒸馏框架，根据教师模型的置信度自适应调整权重，使学生模型优先学习更可靠的知识。
  3. 实验表明，ResNet8作为学生模型，在精度超过90%的同时，参数量、FLOPs和功耗显著降低，推理速度大幅提升。

📝 摘要（中文）

本研究提出了一种创新的动态加权知识蒸馏（KD）框架，专为资源受限环境下的高效地球观测（EO）图像分类（IC）而设计。该框架利用EfficientViT和MobileViT作为教师模型，使轻量级的学生模型（特别是ResNet8和ResNet16）在精度、查准率和查全率方面均超过90%，满足了可靠分类任务所需的严格置信度阈值。与依赖静态权重分布的传统KD方法不同，我们的自适应加权机制能够响应每个教师模型的置信度，使学生模型能够动态地优先考虑更可信的知识来源。值得注意的是，ResNet8实现了显著的效率提升，与MobileViT相比，参数减少了97.5%，FLOPs减少了96.7%，功耗降低了86.2%，推理速度提高了63.5%。这种对复杂性和资源需求的显著优化使ResNet8成为EO任务的最佳选择，它将强大的性能与部署可行性相结合。基于置信度的自适应KD方法突出了动态蒸馏策略在产生高性能、资源高效模型方面的潜力，这些模型专为基于卫星的EO应用而定制。可复现的代码可在我们的GitHub存储库中访问。

🔬 方法详解

问题定义：论文旨在解决在资源受限的卫星平台上，如何高效准确地进行地球观测图像分类的问题。现有知识蒸馏方法通常采用静态的权重分配策略，无法根据不同教师模型的置信度动态调整，导致学生模型可能学习到不可靠的知识，影响分类性能。

核心思路：论文的核心思路是提出一种动态加权知识蒸馏框架，该框架能够根据每个教师模型的置信度自适应地调整权重。置信度高的教师模型将被赋予更高的权重，从而引导学生模型更多地学习其提供的知识。这种动态调整机制可以使学生模型更有效地学习到可靠的知识，提高分类精度。

技术框架：整体框架包括教师模型（EfficientViT和MobileViT）和学生模型（ResNet8和ResNet16）。首先，教师模型对输入图像进行预测，并输出预测结果和置信度。然后，动态加权模块根据教师模型的置信度计算权重。最后，学生模型在教师模型的指导下进行学习，损失函数包括分类损失和蒸馏损失，蒸馏损失根据动态权重进行加权。

关键创新：最重要的技术创新点在于动态加权机制。与传统的静态加权方法不同，该方法能够根据教师模型的置信度动态调整权重，使学生模型能够优先学习更可靠的知识。这种动态调整机制可以提高学生模型的学习效率和分类精度。

关键设计：关键设计包括：1) 使用EfficientViT和MobileViT作为教师模型，提供多样化的知识来源；2) 使用ResNet8和ResNet16作为学生模型，探索不同复杂度的模型性能；3) 设计基于置信度的动态加权函数，根据教师模型的预测概率计算权重；4) 使用分类损失和蒸馏损失的加权和作为总损失函数，平衡分类精度和知识迁移。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ResNet8作为学生模型，在精度、查准率和查全率方面均超过90%，同时与MobileViT相比，参数减少了97.5%，FLOPs减少了96.7%，功耗降低了86.2%，推理速度提高了63.5%。这些结果表明，该方法能够在保证分类精度的前提下，显著降低模型的复杂度和资源消耗。

🎯 应用场景

该研究成果可应用于星载地球观测图像的实时分类，例如灾害监测、农业估产、环境监测等。通过在资源受限的卫星平台上部署轻量级且高性能的分类模型，可以实现快速响应和高效的数据处理，具有重要的实际应用价值和广阔的应用前景。

📄 摘要（原文）

This study presents an innovative dynamic weighting knowledge distillation (KD) framework tailored for efficient Earth observation (EO) image classification (IC) in resource-constrained settings. Utilizing EfficientViT and MobileViT as teacher models, this framework enables lightweight student models, particularly ResNet8 and ResNet16, to surpass 90% in accuracy, precision, and recall, adhering to the stringent confidence thresholds necessary for reliable classification tasks. Unlike conventional KD methods that rely on static weight distribution, our adaptive weighting mechanism responds to each teacher model's confidence, allowing student models to prioritize more credible sources of knowledge dynamically. Remarkably, ResNet8 delivers substantial efficiency gains, achieving a 97.5% reduction in parameters, a 96.7% decrease in FLOPs, an 86.2% cut in power consumption, and a 63.5% increase in inference speed over MobileViT. This significant optimization of complexity and resource demands establishes ResNet8 as an optimal candidate for EO tasks, combining robust performance with feasibility in deployment. The confidence-based, adaptable KD approach underscores the potential of dynamic distillation strategies to yield high-performing, resource-efficient models tailored for satellite-based EO applications. The reproducible code is accessible on our GitHub repository.