DTKDP: A Dual Teacher Knowledge Distillation and Pruning Framework for Lightweight Oriented SAR Ship Detection

📄 arXiv: 2609.24872v1 📥 PDF

作者: Yuming Li, Fan Zhang, Alin M. Achim

分类: cs.CV

发布日期: 2026-09-21

备注: Published in Remote Sensing. The version of record is available at https://doi.org/10.3390/rs18183172

期刊: Remote Sensing 18(18), 3172 (2026)

DOI: 10.3390/rs18183172

💡 一句话要点

提出DTKDP框架以解决轻量化SAR船舶检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 轻量化检测 知识蒸馏 SAR船舶检测 双教师策略 卷积剪枝 旋转提议对齐 深度学习 计算机视觉

📋 核心要点

  1. 现有的两阶段定向检测器在SAR船舶检测中精度高，但由于其复杂结构，难以实现轻量化部署。
  2. 本文提出DTKDP框架，通过引入可学习的门控机制和双教师蒸馏策略，优化轻量化SAR船舶检测模型。
  3. 实验结果显示，DTKDP在保持高精度的同时，显著减少了模型参数和计算量，提升了效率。

📝 摘要（中文）

两阶段的定向检测器在合成孔径雷达(SAR)船舶检测中实现了高定位精度，但其庞大的骨干网络、特征金字塔、提议模块和重的感兴趣区域(RoI)头部限制了部署。现有轻量化SAR船舶检测器通常采用单阶段框架，缺乏精确的旋转定位提议级别的细化。本文提出了一种双教师知识蒸馏与剪枝(DTKDP)框架，旨在实现轻量化的定向SAR船舶检测。DTKDP在卷积、归一化和线性层中引入可学习的门控，以剪枝卷积通道和RoI头神经元。通过共享教师生成的旋转提议空间，旋转提议对齐(RPA)蒸馏教师和学生的预测，同时双教师方案结合了来自同质主教师的分类与回归指导以及来自异质辅助教师的互补分类线索。实验结果表明，DTKDP显著减少了Oriented R-CNN和RoI Transformer的参数和计算量，同时保持了接近全尺度模型的精度。

🔬 方法详解

问题定义：本文旨在解决现有SAR船舶检测模型在轻量化部署方面的不足，尤其是两阶段检测器的复杂性和计算开销。现有方法通常缺乏精确的旋转定位能力，限制了其在实际应用中的有效性。

核心思路：DTKDP框架通过引入可学习的门控机制来剪枝卷积通道和RoI头神经元，同时采用双教师知识蒸馏策略，以提高模型的轻量化和检测精度。这样的设计旨在在保持高性能的同时，减少模型的复杂性和计算需求。

技术框架：DTKDP框架主要包括两个阶段：首先，通过旋转提议对齐(RPA)机制蒸馏教师和学生模型的预测；其次，利用双教师方案结合来自主教师和辅助教师的指导，优化模型的分类和回归能力。框架中引入的可学习门控机制使得模型能够动态调整其结构，以适应不同的任务需求。

关键创新：DTKDP的核心创新在于其双教师知识蒸馏策略和可学习门控机制的结合。这一设计使得模型在轻量化的同时，能够有效地进行旋转定位，克服了传统方法的局限性。

关键设计：在模型设计中，采用了ResNet-50作为骨干网络，并通过剪枝策略减少了87.5-91.8%的参数和75.6-79.9%的计算量。同时，损失函数的设计考虑了分类和回归的平衡，以确保模型在精度和效率之间的良好权衡。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，DTKDP显著减少了Oriented R-CNN和RoI Transformer的参数和计算量，分别降低了87.5-91.8%和75.6-79.9%。在平均精度(AP)和均值平均精度(mAP)方面，模型保持了接近全尺度模型的准确性，且在多个指标上超越了现有的蒸馏方法，展示了良好的准确性与效率的平衡。

🎯 应用场景

该研究的潜在应用领域包括海洋监测、海上安全和环境保护等。通过实现轻量化的SAR船舶检测，DTKDP框架可以在资源受限的环境中有效部署，提升实时监测能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Two-stage oriented detectors achieve high localization accuracy in synthetic aperture radar (SAR) ship detection, but their large backbones, feature pyramids, proposal modules, and heavy region of interest (RoI) heads hinder deployment. Existing lightweight SAR ship detectors typically use one-stage frameworks that lack proposal-level refinement for precise rotated localization. This paper presents a dual-teacher knowledge distillation and pruning (DTKDP) framework for lightweight oriented SAR ship detection. DTKDP introduces learnable gates into convolutional, normalization, and linear layers to prune convolutional channels and RoI-head neurons. Rotated proposal alignment (RPA) distills teacher and student predictions in a shared teacher-generated rotated proposal space, while a dual-teacher scheme combines classification and regression guidance from a homogeneous main teacher with complementary classification cues from a heterogeneous auxiliary teacher. Experiments on the SAR Ship Detection Dataset (SSDD) and Rotated Ship Detection Dataset in SAR Images (RSDD-SAR) show that DTKDP reduces the parameters of Oriented Region-based Convolutional Neural Network (Oriented R-CNN) and RoI Transformer equipped with ResNet-50 backbones by 87.5-91.8% and their floating-point operations (FLOPs) by 75.6-79.9%. In terms of average precision (AP) and mean average precision (mAP), the resulting Oriented R-CNN-slim and RoI Transformer-slim retain accuracy close to their full-scale counterparts. Relative changes across $\mathrm{AP}{50}$, $\mathrm{AP}{75}$, $\mathrm{mAP}{50:75}$, and $\mathrm{mAP}{50:95}$ range from a 2.38% decrease to a 0.65% improvement. Compared with RTMDet-tiny, they improve all four metrics on both datasets by 0.52-27.55% and consistently surpass representative distillation methods, demonstrating a favorable accuracy-efficiency trade-off.