Decoder-Free Distillation for Quantized Image Restoration

📄 arXiv: 2603.09624v1 📥 PDF

作者: S. M. A. Sharif, Abdur Rehman, Seongwan Kim, Jaeho Lee

分类: cs.CV

发布日期: 2026-03-10

💡 一句话要点

提出QDR框架，通过无解码器蒸馏和可学习权重，实现量化图像恢复的性能提升。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 量化感知训练 知识蒸馏 图像恢复 边缘计算 无解码器蒸馏

📋 核心要点

  1. 现有量化感知训练和知识蒸馏方法在低精度图像恢复中面临能力不匹配、误差放大和优化冲突等挑战。
  2. QDR框架通过自蒸馏、无解码器蒸馏和可学习权重调整，有效解决了上述问题，提升了量化模型的性能。
  3. 实验表明，QDR在多个图像恢复任务上取得了显著的性能提升，并在边缘设备上实现了高效的推理速度。

📝 摘要（中文）

本文提出了一种用于边缘部署图像恢复的量化感知蒸馏恢复（QDR）框架。针对低精度图像恢复中教师-学生能力不匹配、解码器蒸馏中的空间误差放大以及量化噪声引起的重建和蒸馏损失之间的优化“拉锯战”等问题，QDR通过FP32自蒸馏消除能力不匹配，通过无解码器蒸馏（DFD）在网络瓶颈处校正量化误差，并通过可学习幅度重加权（LMR）动态平衡竞争梯度来稳定优化。此外，还设计了一个边缘友好模型（EFM），该模型具有轻量级的可学习退化门控（LDG），可以动态地调节空间退化定位。实验结果表明，Int8模型恢复了FP32性能的96.5%，在NVIDIA Jetson Orin上实现了442 FPS，并将下游目标检测的mAP提高了16.3%。

🔬 方法详解

问题定义：论文旨在解决将量化感知训练（QAT）和知识蒸馏（KD）应用于图像恢复（IR）任务时遇到的问题。现有方法在将QAT-KD直接应用于底层视觉任务时，会遇到三个主要瓶颈：教师-学生能力不匹配，导致学生模型无法充分学习教师模型的知识；解码器蒸馏过程中的空间误差放大，使得量化误差在空间维度上累积；以及由于量化噪声引起的重建损失和蒸馏损失之间的优化“拉锯战”，导致模型难以收敛到最优解。

核心思路：论文的核心思路是通过解耦蒸馏过程，并针对性地解决上述三个瓶颈问题。首先，使用FP32自蒸馏来消除教师-学生能力不匹配的问题。其次，采用无解码器蒸馏（DFD）来避免解码器中的误差放大，只在网络的瓶颈处进行量化误差校正。最后，引入可学习幅度重加权（LMR）来动态平衡重建损失和蒸馏损失之间的梯度，从而稳定优化过程。

技术框架：QDR框架包含三个主要组成部分：FP32自蒸馏、无解码器蒸馏（DFD）和可学习幅度重加权（LMR）。首先，使用FP32模型作为教师模型，训练一个FP32的学生模型，以消除能力不匹配。然后，将学生模型量化为Int8模型，并使用DFD在网络的瓶颈处进行蒸馏，避免解码器中的误差放大。最后，使用LMR动态调整重建损失和蒸馏损失的权重，以稳定优化过程。此外，论文还提出了一个边缘友好模型（EFM），该模型具有轻量级的可学习退化门控（LDG），可以动态地调节空间退化定位。

关键创新：论文的主要创新点在于提出了无解码器蒸馏（DFD）和可学习幅度重加权（LMR）。DFD通过在网络瓶颈处进行量化误差校正，避免了解码器中的误差放大，从而提高了量化模型的性能。LMR通过动态调整重建损失和蒸馏损失的权重，稳定了优化过程，使得模型能够更好地收敛。

关键设计：在DFD中，作者选择在网络的瓶颈处进行蒸馏，因为瓶颈处的特征包含了图像的全局信息，并且对量化误差更加敏感。在LMR中，作者使用一个可学习的权重来动态调整重建损失和蒸馏损失的权重，这个权重是根据当前模型的性能和量化误差来动态调整的。边缘友好模型（EFM）采用轻量级的可学习退化门控（LDG），LDG模块通过学习空间注意力图来定位图像中的退化区域，并根据退化程度动态调整模型的处理方式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，QDR框架在四个图像恢复任务上取得了显著的性能提升。Int8模型恢复了FP32性能的96.5%，在NVIDIA Jetson Orin上实现了442 FPS，并将下游目标检测的mAP提高了16.3%。这些结果表明，QDR框架能够在保证性能的同时，显著降低模型的计算复杂度和存储空间，使其更适合在边缘设备上部署。

🎯 应用场景

该研究成果可广泛应用于移动设备、嵌入式系统等边缘计算场景下的图像恢复任务，例如移动设备上的图像去噪、超分辨率、图像修复等。通过降低模型计算复杂度和存储空间，使得高性能图像恢复算法能够在资源受限的设备上运行，提升用户体验，并为相关应用带来更广阔的应用前景。

📄 摘要（原文）

Quantization-Aware Training (QAT), combined with Knowledge Distillation (KD), holds immense promise for compressing models for edge deployment. However, joint optimization for precision-sensitive image restoration (IR) to recover visual quality from degraded images remains largely underexplored. Directly adapting QAT-KD to low-level vision reveals three critical bottlenecks: teacher-student capacity mismatch, spatial error amplification during decoder distillation, and an optimization "tug-of-war" between reconstruction and distillation losses caused by quantization noise. To tackle these, we introduce Quantization-aware Distilled Restoration (QDR), a framework for edge-deployed IR. QDR eliminates capacity mismatch via FP32 self-distillation and prevents error amplification through Decoder-Free Distillation (DFD), which corrects quantization errors strictly at the network bottleneck. To stabilize the optimization tug-of-war, we propose a Learnable Magnitude Reweighting (LMR) that dynamically balances competing gradients. Finally, we design an Edge-Friendly Model (EFM) featuring a lightweight Learnable Degradation Gating (LDG) to dynamically modulate spatial degradation localization. Extensive experiments across four IR tasks demonstrate that our Int8 model recovers 96.5% of FP32 performance, achieves 442 frames per second (FPS) on an NVIDIA Jetson Orin, and boosts downstream object detection by 16.3 mAP