Exploring Self-Supervised Learning with U-Net Masked Autoencoders and EfficientNet B7 for Improved Classification

📄 arXiv: 2410.19899v1 📥 PDF

作者: Vamshi Krishna Kancharla, Pavan Kumar Kaveti

分类: cs.CV

发布日期: 2024-10-25

备注: Capsule Vision 2024 Challenge

💡 一句话要点

提出基于U-Net掩码自编码器和EfficientNet B7的自监督学习方法，提升图像分类精度。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自监督学习 掩码自编码器 U-Net EfficientNet 图像分类 特征融合 深度学习

📋 核心要点

  1. 现有图像分类方法在高层特征提取方面存在不足，限制了分类精度。
  2. 利用U-Net自编码器进行自监督学习，提取图像高层特征，并与EfficientNet特征融合。
  3. 实验表明，EfficientNet B7与U-Net编码器特征结合，验证集准确率达到0.94。

📝 摘要（中文）

本文提出了一种基于U-Net的自监督掩码自编码器和噪声去除模型，用于重建原始图像。该模型在充分训练后，提取高层特征，并将其与EfficientNet B7模型的特征相结合。这些融合后的特征随后被输入到密集层进行分类。在掩码输入和高斯噪声去除方法中，我们选择了最佳的U-Net重建模型。此外，我们还探索了各种配置，包括带有注意力机制的EfficientNet、自编码器的注意力融合以及利用U-Net编码器特征进行分类。最佳性能是通过EfficientNet B7与U-Net编码器特征相结合实现的。我们采用Adam优化器，学习率为0.0001，在验证集上获得了0.94的最高准确率。

🔬 方法详解

问题定义：论文旨在解决图像分类任务中，现有方法特征提取能力不足的问题。传统的图像分类方法，尤其是依赖于预训练模型的微调，可能无法充分利用特定数据集的内在结构和高层语义信息，导致分类精度受限。

核心思路：论文的核心思路是利用自监督学习方法，通过U-Net掩码自编码器学习图像的内在表示，提取更具判别性的高层特征。然后，将这些自监督学习到的特征与预训练的EfficientNet B7模型的特征进行融合，从而提升分类性能。这样做的目的是结合自监督学习的优势和预训练模型的泛化能力。

技术框架：整体框架包含以下几个主要阶段：1) 使用U-Net结构的掩码自编码器进行自监督预训练，学习图像重建；2) 利用训练好的U-Net编码器提取图像特征；3) 使用EfficientNet B7模型提取图像特征；4) 将U-Net编码器特征和EfficientNet B7特征进行融合；5) 将融合后的特征输入到密集层进行分类。

关键创新：论文的关键创新在于将U-Net掩码自编码器用于自监督特征学习，并将其与EfficientNet B7模型相结合。这种结合方式能够充分利用自监督学习提取的图像内在结构信息，以及预训练模型强大的特征表达能力。此外，探索了多种融合策略，包括注意力机制的融合。

关键设计：U-Net自编码器采用标准的U-Net结构，损失函数为重建损失。EfficientNet B7采用预训练模型，并在目标数据集上进行微调。特征融合方式包括直接拼接和注意力融合。Adam优化器，学习率设置为0.0001。实验中探索了不同的掩码比例和噪声水平，最终选择了最佳的U-Net重建模型。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，EfficientNet B7与U-Net编码器特征相结合，在验证集上取得了0.94的最高准确率。该方法优于单独使用EfficientNet B7或其他特征融合策略，证明了自监督学习与预训练模型相结合的有效性。

🎯 应用场景

该研究成果可应用于医学图像分析、遥感图像分类、工业缺陷检测等领域。通过自监督学习提取图像的内在特征，可以有效提升分类精度，降低对标注数据的依赖，具有重要的实际应用价值和广阔的应用前景。

📄 摘要（原文）

We present a self-supervised U-Net-based masked autoencoder and noise removal model designed to reconstruct original images. Once adequately trained, this model extracts high-level features, which are then combined with features from the EfficientNet B7 model. These integrated features are subsequently fed into dense layers for classification. Among the approaches of masked input and Gaussian noise removal, we selected the best U-Net reconstruction model. Additionally, we explored various configurations, including EfficientNet with attention, attention fusion of the autoencoder, and classification utilizing U-Net encoder features. The best performance was achieved with EfficientNet B7 combined with U-Net encoder features. We employed the Adam optimizer with a learning rate of 0.0001, achieving a top accuracy of 0.94 on the validation set.