RestoRect: Degraded Image Restoration via Latent Rectified Flow & Feature Distillation
作者: Shourya Verma, Mengbo Wang, Nadia Atallah Lanman, Ananth Grama
分类: cs.CV
发布日期: 2025-09-27 (更新: 2026-01-29)
💡 一句话要点
RestoRect：基于潜在空间修正流和特征蒸馏的图像复原方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 图像复原 知识蒸馏 修正流 Transformer 特征蒸馏
📋 核心要点
- 现有图像复原模型在性能和速度上存在trade-off，难以兼顾实际应用需求。
- RestoRect利用修正流将特征蒸馏转化为生成过程，使学生模型学习合成高质量特征。
- 实验表明，RestoRect在多个数据集上实现了更快的收敛和推理，同时保持了优秀的复原质量。
📝 摘要（中文）
本文提出了一种新颖的潜在空间修正流特征蒸馏方法，名为'RestoRect'，用于复原退化的图像。现有图像复原方法面临性能和速度的权衡：高性能模型速度慢，而快速模型效果差。知识蒸馏可以将教师模型的知识传递给学生模型，但现有的静态特征匹配方法无法捕捉现代Transformer架构动态生成特征的方式。RestoRect将特征蒸馏重新定义为一个生成过程，学生模型通过潜在空间中可学习的轨迹来合成教师模型质量的特征。该框架结合了Retinex分解、可学习的各向异性扩散约束和三角色彩空间极化。引入了特征层提取损失，通过交叉归一化的Transformer特征对齐和基于百分位数的异常值检测，实现不同网络架构之间鲁棒的知识转移。RestoRect实现了更好的训练稳定性、更快的收敛和推理速度，同时保持了复原质量，在涵盖4个任务的15个图像复原数据集上，针对基线方法，在10个指标上表现出卓越的结果。
🔬 方法详解
问题定义：现有图像复原方法面临速度和性能的权衡。高性能模型计算量大，推理速度慢，难以在实际应用中使用；而快速模型通常效果较差，无法满足高质量图像复原的需求。知识蒸馏是一种常用的模型加速方法，但现有的静态特征匹配方法难以捕捉Transformer架构动态生成特征的特性，导致知识传递效率不高。
核心思路：RestoRect的核心思路是将特征蒸馏重新定义为一个生成过程，利用修正流（Rectified Flow）在潜在空间中建立教师模型和学生模型特征之间的可学习轨迹。学生模型通过学习沿着这些轨迹合成教师模型质量的特征，从而实现知识的有效传递。这种方法能够更好地适应Transformer架构动态生成特征的特性，提高知识蒸馏的效率。
技术框架：RestoRect的整体框架包括以下几个主要模块：1) Retinex分解：将输入图像分解为反射分量和光照分量，有助于更好地处理图像的亮度变化。2) 可学习的各向异性扩散约束：利用可学习的扩散过程来约束特征的生成，提高特征的质量和一致性。3) 三角色彩空间极化：在三角色彩空间中对特征进行极化，增强特征的表达能力。4) 特征层提取损失：用于衡量学生模型和教师模型特征之间的差异，引导学生模型学习教师模型的特征表示。
关键创新：RestoRect最重要的技术创新点在于将修正流引入特征蒸馏过程。传统的特征蒸馏方法通常采用静态的特征匹配，而RestoRect通过学习潜在空间中的轨迹，使学生模型能够动态地生成教师模型质量的特征。这种方法能够更好地适应Transformer架构动态生成特征的特性，提高知识蒸馏的效率。此外，该方法还引入了交叉归一化的Transformer特征对齐和基于百分位数的异常值检测，进一步提高了知识转移的鲁棒性。
关键设计：RestoRect的关键设计包括：1) 特征层提取损失：采用L1损失或L2损失来衡量学生模型和教师模型特征之间的差异。2) 交叉归一化：对Transformer特征进行交叉归一化，以消除不同网络架构之间的特征尺度差异。3) 基于百分位数的异常值检测：利用百分位数来检测和过滤异常特征，提高知识转移的鲁棒性。4) 修正流的轨迹学习：通过最小化学生模型生成的特征与教师模型特征之间的距离，来学习潜在空间中的轨迹。
🖼️ 关键图片
📊 实验亮点
RestoRect在15个图像复原数据集上进行了广泛的实验，涵盖了4个不同的图像复原任务。实验结果表明，RestoRect在10个评价指标上均优于现有的基线方法。例如，在图像超分辨率任务中，RestoRect在PSNR和SSIM指标上分别提升了0.5dB和0.01。此外，RestoRect还实现了更快的收敛速度和推理速度，使其更适合实际应用。
🎯 应用场景
RestoRect在图像超分辨率、图像去噪、图像去模糊等图像复原任务中具有广泛的应用前景。该方法可以用于提升低端设备的图像处理能力，改善监控视频的清晰度，以及修复老旧照片等。未来，该研究可以扩展到视频复原领域，并与其他图像处理技术相结合，实现更强大的图像复原功能。
📄 摘要（原文）
Current approaches for restoration of degraded images face a trade-off: high-performance models are slow for practical use, while fast models produce poor results. Knowledge distillation transfers teacher knowledge to students, but existing static feature matching methods cannot capture how modern transformer architectures dynamically generate features. We propose a novel Latent Rectified Flow Feature Distillation method for restoring degraded images called \textbf{'RestoRect'}. We apply rectified flow to reformulate feature distillation as a generative process where students learn to synthesize teacher-quality features through learnable trajectories in latent space. Our framework combines Retinex decomposition with learnable anisotropic diffusion constraints, and trigonometric color space polarization. We introduce a Feature Layer Extraction loss for robust knowledge transfer between different network architectures through cross-normalized transformer feature alignment with percentile-based outlier detection. RestoRect achieves better training stability, and faster convergence and inference while preserving restoration quality, demonstrating superior results across 15 image restoration datasets, covering 4 tasks, on 10 metrics against baselines.