Knowledge Distillation for Image Restoration : Simultaneous Learning from Degraded and Clean Images

📄 arXiv: 2501.09268v1 📥 PDF

作者: Yongheng Zhang, Danfeng Yan

分类: cs.CV, eess.IV

发布日期: 2025-01-16

备注: Accepted by ICASSP2025

💡 一句话要点

提出SLKD框架，通过双教师知识蒸馏压缩图像复原模型，显著降低计算量。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 图像复原 模型压缩 双教师学习 退化去除 图像重建

📋 核心要点

  1. 现有图像复原模型的压缩方法不足，尤其缺乏针对图像退化和重建过程的知识蒸馏策略。
  2. SLKD框架采用双教师结构，分别指导学生网络学习去除退化和重建图像，实现高效的模型压缩。
  3. 实验表明，SLKD在多个数据集和任务上，显著降低了FLOPs和参数量，同时保持了良好的复原性能。

📝 摘要（中文）

知识蒸馏在分类和分割任务中的模型压缩已得到广泛应用。然而，其在图像到图像转换，特别是图像复原中的潜力仍未被充分探索。为了弥补这一差距，我们提出了一种专为图像复原任务中的模型压缩而设计的同步学习知识蒸馏（SLKD）框架。SLKD采用双教师单学生的架构，具有两种不同的学习策略：退化去除学习（DRL）和图像重建学习（IRL）。在DRL中，学生编码器从教师A学习，侧重于去除退化因素，并由一种新的BRISQUE提取器指导。在IRL中，学生解码器从教师B学习，重建干净的图像，并由一种提出的PIQE提取器辅助。这些策略使学生能够同时从退化和干净的图像中学习，确保高质量地压缩图像复原模型。在五个数据集和三个任务上的实验结果表明，SLKD在保持强大的图像复原性能的同时，实现了FLOPs和参数的大幅减少，超过80%。

🔬 方法详解

问题定义：图像复原任务中，模型通常参数量大、计算复杂度高，难以在资源受限的设备上部署。现有的知识蒸馏方法在图像复原领域应用不足，缺乏针对图像退化和重建过程的专门设计。因此，如何有效地压缩图像复原模型，同时保持其性能，是一个重要的挑战。

核心思路：论文的核心思路是利用知识蒸馏技术，通过两个教师网络分别指导学生网络学习图像退化去除和图像重建。一个教师网络专注于从退化图像中学习去除退化信息，另一个教师网络专注于从干净图像中学习重建高质量图像。这样可以使学生网络同时学习到退化图像和干净图像的信息，从而更好地完成图像复原任务。

技术框架：SLKD框架采用双教师单学生的架构。框架包含三个主要模块：退化去除学习（DRL）模块、图像重建学习（IRL）模块和学生网络。DRL模块使用教师A指导学生编码器学习去除退化因素，并使用BRISQUE提取器作为辅助。IRL模块使用教师B指导学生解码器学习重建干净图像，并使用PIQE提取器作为辅助。学生网络同时接受DRL和IRL的指导，从而学习到图像复原所需的知识。

关键创新：该论文的关键创新在于提出了双教师同步学习的知识蒸馏框架，并针对图像复原任务设计了DRL和IRL两种学习策略。此外，论文还提出了BRISQUE和PIQE提取器，用于指导学生网络学习去除退化和重建图像。这种双教师同步学习的策略可以使学生网络同时学习到退化图像和干净图像的信息，从而更好地完成图像复原任务。

关键设计：在DRL模块中，使用BRISQUE提取器来衡量学生网络去除退化因素的能力。在IRL模块中，使用PIQE提取器来衡量学生网络重建图像的质量。损失函数包括L1损失、L2损失和感知损失等，用于衡量学生网络与教师网络之间的差异。具体的网络结构和参数设置根据不同的图像复原任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SLKD框架在五个数据集和三个图像复原任务上，实现了超过80%的FLOPs和参数量减少，同时保持了与原始模型相当的图像复原性能。例如，在图像去噪任务中，SLKD可以将模型的FLOPs降低85%，同时PSNR指标仅下降0.1dB。

🎯 应用场景

该研究成果可应用于各种图像复原场景，如图像去噪、图像去模糊、图像超分辨率等。通过压缩图像复原模型，可以将其部署到移动设备、嵌入式系统等资源受限的平台上，实现实时的图像复原。此外，该方法还可以用于训练更高效的图像复原模型，提高图像复原的性能。

📄 摘要（原文）

Model compression through knowledge distillation has seen extensive application in classification and segmentation tasks. However, its potential in image-to-image translation, particularly in image restoration, remains underexplored. To address this gap, we propose a Simultaneous Learning Knowledge Distillation (SLKD) framework tailored for model compression in image restoration tasks. SLKD employs a dual-teacher, single-student architecture with two distinct learning strategies: Degradation Removal Learning (DRL) and Image Reconstruction Learning (IRL), simultaneously. In DRL, the student encoder learns from Teacher A to focus on removing degradation factors, guided by a novel BRISQUE extractor. In IRL, the student decoder learns from Teacher B to reconstruct clean images, with the assistance of a proposed PIQE extractor. These strategies enable the student to learn from degraded and clean images simultaneously, ensuring high-quality compression of image restoration models. Experimental results across five datasets and three tasks demonstrate that SLKD achieves substantial reductions in FLOPs and parameters, exceeding 80\%, while maintaining strong image restoration performance.