WavShadow: Wavelet Based Shadow Segmentation and Removal

📄 arXiv: 2411.05747v3 📥 PDF

作者: Shreyans Jain, Viraj Vekaria, Karan Gandhi, Aadya Arora

分类: cs.CV

发布日期: 2024-11-08 (更新: 2024-11-12)

💡 一句话要点

WavShadow：融合小波变换的阴影分割与去除方法，提升ShadowFormer性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 阴影去除 阴影分割 小波变换 掩码自编码器 深度学习 计算机视觉

📋 核心要点

  1. 现有阴影去除方法在复杂场景下表现不佳，难以兼顾分割精度和处理速度。
  2. WavShadow通过引入MAE先验、Haar小波特征和改进的SAM适配器，增强ShadowFormer模型。
  3. 实验表明，该方法在DESOBA数据集上取得了SOTA结果，显著提升了收敛速度和去除质量。

📝 摘要（中文）

阴影去除和分割是计算机视觉中具有挑战性的任务，尤其是在复杂的真实场景中。本研究提出了一种新颖的方法，通过结合掩码自编码器（MAE）先验和快速傅里叶卷积（FFC）块来增强ShadowFormer模型，从而显著加快收敛速度并提高性能。我们引入了关键创新：(1) 集成了在Places2数据集上训练的MAE先验，以更好地理解上下文；(2) 采用Haar小波特征来增强边缘检测和多尺度分析；(3) 实施了改进的SAM适配器，以实现鲁棒的阴影分割。在具有挑战性的DESOBA数据集上的大量实验表明，我们的方法实现了最先进的结果，在收敛速度和阴影去除质量方面都有显著提高。

🔬 方法详解

问题定义：论文旨在解决复杂场景下的阴影分割与去除问题。现有方法在处理真实场景时，往往面临分割精度不高、计算复杂度高的问题，难以达到理想的阴影去除效果。这些方法通常缺乏对图像上下文信息的充分利用，以及对阴影边缘细节的有效捕捉。

核心思路：论文的核心思路是通过融合掩码自编码器（MAE）的先验知识、Haar小波变换的多尺度分析能力以及改进的SAM适配器，来增强ShadowFormer模型。这种设计旨在提升模型对图像上下文的理解能力，增强对阴影边缘的检测精度，并提高阴影分割的鲁棒性。

技术框架：WavShadow的技术框架主要包括以下几个模块：首先，使用在Places2数据集上预训练的MAE作为先验知识，为模型提供更丰富的上下文信息。其次，采用Haar小波变换提取图像的多尺度特征，增强对阴影边缘的检测能力。然后，将提取的特征输入到改进的ShadowFormer模型中，该模型集成了快速傅里叶卷积（FFC）块，以加快收敛速度。最后，使用改进的SAM适配器进行阴影分割，并进行阴影去除。

关键创新：论文的关键创新在于以下三个方面：一是将MAE先验知识引入阴影分割任务，提升了模型对图像上下文的理解能力。二是采用Haar小波变换提取多尺度特征，增强了对阴影边缘的检测精度。三是改进了SAM适配器，提高了阴影分割的鲁棒性。与现有方法相比，WavShadow能够更好地利用图像的上下文信息和边缘细节，从而实现更精确的阴影分割和去除。

关键设计：在关键设计方面，论文采用了在Places2数据集上预训练的MAE模型，以获取更丰富的上下文信息。Haar小波变换被用于提取图像的多尺度特征，其分解层数和尺度选择需要根据具体数据集进行调整。改进的SAM适配器采用了更复杂的网络结构，以提高阴影分割的鲁棒性。损失函数方面，论文可能采用了交叉熵损失或Dice损失等常用的分割损失函数，并可能结合了其他辅助损失函数，以提高训练效果。

🖼️ 关键图片

fig_0

📊 实验亮点

WavShadow在DESOBA数据集上取得了显著的性能提升，达到了SOTA水平。具体而言，该方法在阴影分割精度和阴影去除质量方面均优于现有方法，并且收敛速度更快。实验结果表明，MAE先验、Haar小波特征和改进的SAM适配器能够有效地提升ShadowFormer模型的性能。

🎯 应用场景

WavShadow技术在图像编辑、视频监控、自动驾驶等领域具有广泛的应用前景。它可以用于去除照片中的阴影，提高图像质量；在视频监控中，可以减少阴影对目标检测和跟踪的影响；在自动驾驶中，可以提高车辆对道路环境的感知能力，从而提高驾驶安全性。未来，该技术还可以应用于增强现实、虚拟现实等领域。

📄 摘要（原文）

Shadow removal and segmentation remain challenging tasks in computer vision, particularly in complex real world scenarios. This study presents a novel approach that enhances the ShadowFormer model by incorporating Masked Autoencoder (MAE) priors and Fast Fourier Convolution (FFC) blocks, leading to significantly faster convergence and improved performance. We introduce key innovations: (1) integration of MAE priors trained on Places2 dataset for better context understanding, (2) adoption of Haar wavelet features for enhanced edge detection and multiscale analysis, and (3) implementation of a modified SAM Adapter for robust shadow segmentation. Extensive experiments on the challenging DESOBA dataset demonstrate that our approach achieves state of the art results, with notable improvements in both convergence speed and shadow removal quality.