Erasing the Bias: Fine-Tuning Foundation Models for Semi-Supervised Learning

📄 arXiv: 2405.11756v1 📥 PDF

作者: Kai Gan, Tong Wei

分类: cs.LG

发布日期: 2024-05-20

备注: Accepted to ICML 2024

🔗 代码/项目: GITHUB

💡 一句话要点

FineSSL：通过微调预训练模型解决半监督学习中的偏差问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 半监督学习 预训练模型 微调 偏差消除 平衡边距softmax

📋 核心要点

  1. 现有半监督学习方法在实际部署中性能不佳，无法充分利用预训练模型。
  2. FineSSL通过平衡边距softmax和解耦标签平滑，有效缓解预训练模型中的偏差问题。
  3. 实验表明，FineSSL在多个数据集上达到SOTA，显著降低训练成本，并易于集成其他SSL算法。

📝 摘要（中文）

半监督学习(SSL)取得了显著进展，涌现出大量方法变体。然而，由于性能不佳，从业者在部署这些方法时经常遇到挑战。本文提出了一种名为FineSSL的新型SSL方法，通过调整预训练的基础模型来显著解决这一限制。我们识别了基础模型中固有的聚合偏差和认知偏差问题，并通过施加平衡边距softmax和解耦标签平滑提出了一种简单而有效的解决方案。通过广泛的实验，我们证明了FineSSL在多个基准数据集上为SSL设定了新的技术水平，将训练成本降低了六倍以上，并且可以无缝集成各种微调和现代SSL算法。源代码可在https://github.com/Gank0078/FineSSL获得。

🔬 方法详解

问题定义：半监督学习旨在利用少量标注数据和大量未标注数据来提升模型性能。然而，现有方法在利用预训练模型时，往往受到预训练数据和目标任务之间偏差的影响，导致模型泛化能力不足。此外，现有SSL方法训练成本高昂，难以部署。

核心思路：FineSSL的核心思路是通过微调预训练模型，消除或减少其固有的偏差。具体而言，论文认为预训练模型存在聚合偏差和认知偏差，这些偏差会影响模型在半监督学习中的表现。通过引入平衡边距softmax和解耦标签平滑，可以有效地缓解这些偏差，从而提升模型性能。

技术框架：FineSSL的整体框架是在预训练模型的基础上进行微调。首先，使用少量标注数据对预训练模型进行初步微调。然后，利用平衡边距softmax损失函数和解耦标签平滑技术，进一步优化模型，使其更好地适应半监督学习任务。该框架可以与各种现有的微调策略和SSL算法无缝集成。

关键创新：FineSSL的关键创新在于识别并解决了预训练模型在半监督学习中存在的偏差问题。通过引入平衡边距softmax和解耦标签平滑，有效地缓解了聚合偏差和认知偏差，从而显著提升了模型性能。与现有方法相比，FineSSL更加简单有效，并且易于集成。

关键设计：平衡边距softmax损失函数旨在平衡不同类别之间的决策边界，从而减少聚合偏差。解耦标签平滑技术则通过独立地平滑标注数据和未标注数据的标签，来缓解认知偏差。具体的参数设置和网络结构细节未在摘要中详细说明，需要参考论文全文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FineSSL在多个基准数据集上取得了state-of-the-art的性能，显著优于现有的半监督学习方法。此外，FineSSL将训练成本降低了六倍以上，使其更易于部署和应用。这些结果充分证明了FineSSL的有效性和优越性。

🎯 应用场景

FineSSL具有广泛的应用前景，可应用于图像分类、目标检测、语义分割等各种计算机视觉任务。该方法尤其适用于标注数据稀缺的场景，例如医学图像分析、遥感图像处理等。FineSSL的低训练成本和易集成性使其能够快速部署到实际应用中，具有重要的实际价值和潜在的商业价值。

📄 摘要（原文）

Semi-supervised learning (SSL) has witnessed remarkable progress, resulting in the emergence of numerous method variations. However, practitioners often encounter challenges when attempting to deploy these methods due to their subpar performance. In this paper, we present a novel SSL approach named FineSSL that significantly addresses this limitation by adapting pre-trained foundation models. We identify the aggregated biases and cognitive deviation problems inherent in foundation models, and propose a simple yet effective solution by imposing balanced margin softmax and decoupled label smoothing. Through extensive experiments, we demonstrate that FineSSL sets a new state of the art for SSL on multiple benchmark datasets, reduces the training cost by over six times, and can seamlessly integrate various fine-tuning and modern SSL algorithms. The source code is available at https://github.com/Gank0078/FineSSL.