Spectral Wavelet Dropout: Regularization in the Wavelet Domain

📄 arXiv: 2409.18951v1 📥 PDF

作者: Rinor Cakaj, Jens Mehnert, Bin Yang

分类: cs.CV, cs.LG

发布日期: 2024-09-27

备注: Accepted by The International Conference on Machine Learning and Applications (ICMLA) 2024

💡 一句话要点

提出Spectral Wavelet Dropout (SWD)，通过小波域正则化提升CNN泛化能力。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 正则化 小波变换 卷积神经网络 频率域 Dropout 泛化能力 图像分类 目标检测

📋 核心要点

  1. 现有CNN易于过拟合，原因是网络各部分复杂的协同适应，导致网络依赖联合响应而非独立学习特征。
  2. 提出Spectral Wavelet Dropout (SWD)，通过在小波域随机丢弃详细频率带，实现特征图的正则化。
  3. 实验表明，SWD在图像分类和目标检测任务上均优于Spectral Fourier Dropout (SFD)，且计算复杂度更低。

📝 摘要（中文）

正则化技术有助于防止过拟合，从而提高卷积神经网络（CNN）的泛化能力。过拟合的原因之一是网络不同部分之间复杂的协同适应，这使得CNN依赖于它们的联合响应，而不是鼓励每个部分独立地学习有用的特征表示。频域操作是一种通过利用频率分解来修改具有时间和空间相干性的数据的强大策略。本文介绍了一种新的正则化方法Spectral Wavelet Dropout（SWD），包括1D-SWD和2D-SWD两种变体。这些变体通过随机丢弃特征图离散小波分解中的详细频率带，从而提高CNN的泛化能力。我们的方法不同于现有的Spectral“Fourier”Dropout（2D-SFD），后者消除了傅里叶域中的系数。值得注意的是，SWD只需要一个超参数，而SFD需要两个。我们还通过实现一维版本的Spectral“Fourier”Dropout（1D-SFD）来扩展文献，为全面比较奠定基础。我们的评估表明，相对于1D-SFD和2D-SFD，1D和2D SWD变体在CIFAR-10/100基准测试中具有竞争力的性能。具体而言，与1D/2D-SFD相比，1D-SWD的计算复杂度显著降低。在Pascal VOC目标检测基准测试中，SWD变体的性能优于1D-SFD和2D-SFD，并且在训练期间表现出较低的计算复杂度。

🔬 方法详解

问题定义：卷积神经网络容易出现过拟合现象，尤其是在数据量不足或者模型复杂度较高的情况下。现有的正则化方法，如Dropout，通常在空间域进行操作，忽略了特征图在频率域上的信息。Spectral Fourier Dropout (SFD) 尝试在频率域进行正则化，但计算复杂度较高，且需要调整多个超参数。

核心思路：本文的核心思路是在小波域进行Dropout，即Spectral Wavelet Dropout (SWD)。小波变换具有良好的时频局部化特性，能够有效地提取图像的频率信息。通过随机丢弃小波域中的高频分量，可以有效地抑制噪声，并鼓励网络学习更加鲁棒的特征表示。此外，SWD只需要一个超参数，降低了调参的难度。

技术框架：SWD的整体框架如下：首先，对输入的特征图进行离散小波变换（DWT），将其分解为不同的频率子带。然后，对高频子带进行Dropout，即随机将一部分系数置零。最后，对处理后的频率子带进行逆离散小波变换（IDWT），得到正则化后的特征图。该特征图将作为下一层网络的输入。

关键创新：SWD的关键创新在于将Dropout操作从空间域扩展到小波域。与传统的空间域Dropout相比，SWD能够更好地利用特征图的频率信息，从而实现更有效的正则化。与Spectral Fourier Dropout (SFD) 相比，SWD具有更低的计算复杂度，且只需要一个超参数。

关键设计：SWD的关键设计包括：选择合适的小波基函数（如Daubechies小波），确定Dropout的概率，以及选择合适的DWT分解层数。论文中使用了haar小波。Dropout概率是唯一需要调整的超参数。DWT分解层数的选择需要根据具体的任务和数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SWD在CIFAR-10/100图像分类任务上取得了与SFD相当的性能，同时计算复杂度更低。在Pascal VOC目标检测任务上，SWD的性能优于SFD，并且训练期间的计算复杂度也更低。例如，在CIFAR-10上，1D-SWD达到了与1D-SFD相近的精度，但计算复杂度显著降低。在Pascal VOC上，SWD的mAP比SFD提高了约1-2个百分点。

🎯 应用场景

SWD可以应用于各种计算机视觉任务，如图像分类、目标检测、图像分割等。它能够提高模型的泛化能力，尤其是在数据量有限或者模型复杂度较高的情况下。此外，SWD还可以应用于其他领域，如语音识别、自然语言处理等，只要数据具有一定的时频特性。

📄 摘要（原文）

Regularization techniques help prevent overfitting and therefore improve the ability of convolutional neural networks (CNNs) to generalize. One reason for overfitting is the complex co-adaptations among different parts of the network, which make the CNN dependent on their joint response rather than encouraging each part to learn a useful feature representation independently. Frequency domain manipulation is a powerful strategy for modifying data that has temporal and spatial coherence by utilizing frequency decomposition. This work introduces Spectral Wavelet Dropout (SWD), a novel regularization method that includes two variants: 1D-SWD and 2D-SWD. These variants improve CNN generalization by randomly dropping detailed frequency bands in the discrete wavelet decomposition of feature maps. Our approach distinguishes itself from the pre-existing Spectral "Fourier" Dropout (2D-SFD), which eliminates coefficients in the Fourier domain. Notably, SWD requires only a single hyperparameter, unlike the two required by SFD. We also extend the literature by implementing a one-dimensional version of Spectral "Fourier" Dropout (1D-SFD), setting the stage for a comprehensive comparison. Our evaluation shows that both 1D and 2D SWD variants have competitive performance on CIFAR-10/100 benchmarks relative to both 1D-SFD and 2D-SFD. Specifically, 1D-SWD has a significantly lower computational complexity compared to 1D/2D-SFD. In the Pascal VOC Object Detection benchmark, SWD variants surpass 1D-SFD and 2D-SFD in performance and demonstrate lower computational complexity during training.