SelfDRSC++: Self-Supervised Learning for Dual Reversed Rolling Shutter Correction

📄 arXiv: 2408.11411v1 📥 PDF

作者: Wei Shang, Dongwei Ren, Wanying Zhang, Qilong Wang, Pengfei Zhu, Wangmeng Zuo

分类: cs.CV

发布日期: 2024-08-21

备注: 13 pages, 9 figures, and the code is available at \url{https://github.com/shangwei5/SelfDRSC_plusplus}

🔗 代码/项目: GITHUB

💡 一句话要点

提出SelfDRSC++以解决动态场景下的滚动快门畸变问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 滚动快门校正 自监督学习 图像处理 深度学习 视频帧插值 动态场景

📋 核心要点

  1. 现有的RS畸变校正方法依赖于高帧率GS图像作为监督，限制了其适用性和灵活性。
  2. 本文提出SelfDRSC++框架，通过自监督学习和轻量级DRSC网络，优化RS图像的校正过程。
  3. 实验结果表明，SelfDRSC++在校正性能上显著优于现有方法，并简化了训练流程。

📝 摘要（中文）

现代消费相机普遍采用滚动快门（RS）成像机制，导致动态场景中的图像出现RS畸变。现有方法通常依赖于高帧率全局快门（GS）图像作为监督，限制了其应用。本文提出了一种增强的自监督学习框架SelfDRSC++，通过引入轻量级的DRSC网络和双向相关匹配模块，优化光流和RS特征的联合优化，提升了校正性能并减少了网络参数。此外，SelfDRSC++确保输入与重建的双重反向RS图像之间的循环一致性，简化了训练过程，使得一阶段自监督训练成为可能。该方法不仅支持起始和结束的RS扫描时间，还允许在任意中间扫描时间对GS图像进行监督，从而生成高帧率GS视频。

🔬 方法详解

问题定义：本文旨在解决动态场景中RS成像机制导致的图像畸变问题。现有方法依赖于高帧率GS图像作为监督，限制了其应用范围和灵活性。

核心思路：提出SelfDRSC++框架，通过自监督学习策略，确保输入与重建的双重反向RS图像之间的循环一致性，从而优化RS图像的校正过程。

技术框架：整体架构包括轻量级DRSC网络和双向相关匹配模块，前者用于校正RS图像，后者用于优化光流和RS特征的联合优化。

关键创新：SelfDRSC++的主要创新在于引入自监督学习策略，使得在没有高帧率GS图像的情况下，仍能有效进行RS畸变校正，显著提升了校正性能。

关键设计：在网络设计上，采用了轻量级DRSC网络结构，结合双向相关匹配模块，优化了网络参数设置，同时确保了训练过程的简化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SelfDRSC++在RS畸变校正任务中，相较于基线方法，性能提升显著，具体提升幅度达到XX%（具体数据待补充），并且训练过程更加简化，适用于一阶段自监督训练。

🎯 应用场景

该研究的潜在应用领域包括消费级相机、无人机拍摄、视频监控等场景，能够有效提升动态场景下图像质量，具有重要的实际价值。未来，该技术有望在实时视频处理和增强现实等领域发挥更大作用。

📄 摘要（原文）

Modern consumer cameras commonly employ the rolling shutter (RS) imaging mechanism, via which images are captured by scanning scenes row-by-row, resulting in RS distortion for dynamic scenes. To correct RS distortion, existing methods adopt a fully supervised learning manner that requires high framerate global shutter (GS) images as ground-truth for supervision. In this paper, we propose an enhanced Self-supervised learning framework for Dual reversed RS distortion Correction (SelfDRSC++). Firstly, we introduce a lightweight DRSC network that incorporates a bidirectional correlation matching block to refine the joint optimization of optical flows and corrected RS features, thereby improving correction performance while reducing network parameters. Subsequently, to effectively train the DRSC network, we propose a self-supervised learning strategy that ensures cycle consistency between input and reconstructed dual reversed RS images. The RS reconstruction in SelfDRSC++ can be interestingly formulated as a specialized instance of video frame interpolation, where each row in reconstructed RS images is interpolated from predicted GS images by utilizing RS distortion time maps. By achieving superior performance while simplifying the training process, SelfDRSC++ enables feasible one-stage self-supervised training. Additionally, besides start and end RS scanning time, SelfDRSC++ allows supervision of GS images at arbitrary intermediate scanning times, thus enabling the learned DRSC network to generate high framerate GS videos. The code and trained models are available at \url{https://github.com/shangwei5/SelfDRSC_plusplus}.