Self-Masking Networks for Unsupervised Adaptation

📄 arXiv: 2409.07577v1 📥 PDF

作者: Alfonso Taboada Warmerdam, Mathilde Caron, Yuki M. Asano

分类: cs.CV, cs.LG

发布日期: 2024-09-11

备注: Oral at GCPR'24, code at https://github.com/alvitawa/UnsupervisedMasking

💡 一句话要点

提出自监督掩码网络，高效微调预训练模型以适应下游任务。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自监督学习 模型微调 二元掩码 预训练模型 计算机视觉

📋 核心要点

  1. 现有微调方法在标注数据匮乏的计算机视觉任务中表现不佳，限制了预训练模型的应用。
  2. 论文提出自监督掩码网络（SMN），通过学习二元掩码来高效微调预训练模型，无需大量标注数据。
  3. 实验表明，SMN在存储效率上提升显著，并在标签高效的下游任务中取得了性能提升。

📝 摘要（中文）

随着拥有数十亿参数的通用模型的出现，高效微调对于模型适应下游任务变得越来越重要。然而，尤其是在计算机视觉领域，当缺乏高质量的标注数据时，很难获得良好的性能。本文提出了一种通过学习二元掩码，以自监督方式调整预训练通用模型的方法。这些自监督掩码网络（SMN）在存储上效率提高了高达79倍，并显著提高了标签高效下游任务的性能。我们在8个数据集和3个模型架构上验证了学习二元掩码作为微调方法的有效性，并证明了SMN在3个标签高效设置中的有效性。

🔬 方法详解

问题定义：论文旨在解决在标注数据有限的情况下，如何高效地将预训练的通用模型适配到特定的下游任务。现有微调方法在数据量不足时容易过拟合，且存储成本较高，难以满足实际应用需求。

核心思路：论文的核心思路是通过学习二元掩码来选择性地更新预训练模型的参数。这种方法只更新模型中最重要的部分，从而减少了需要存储和计算的参数量，提高了微调效率，并降低了过拟合的风险。自监督的方式避免了对大量标注数据的依赖。

技术框架：SMN的整体框架包含以下几个主要步骤：首先，使用预训练的通用模型作为初始化。然后，引入一个可学习的二元掩码网络，该网络根据输入数据自适应地生成掩码。接着，将掩码应用于预训练模型的参数，只更新被选中的参数。最后，使用自监督学习目标来训练掩码网络和被选中的模型参数。

关键创新：论文的关键创新在于提出了自监督掩码学习的方法。与传统的微调方法相比，SMN能够自动学习哪些参数对于特定任务是重要的，从而实现更高效和更鲁棒的微调。此外，自监督学习的方式使得SMN能够在缺乏标注数据的情况下进行微调。

关键设计：掩码网络的设计至关重要，它需要能够根据输入数据生成合适的掩码。论文中可能采用了某种形式的注意力机制或门控机制来实现这一目标。损失函数的设计也需要仔细考虑，以确保掩码网络能够学习到有意义的掩码。具体的参数设置（例如掩码的稀疏度）可能需要根据不同的任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在8个数据集和3个模型架构上验证了SMN的有效性。实验结果表明，SMN在存储效率上提高了高达79倍，并在标签高效的下游任务中取得了显著的性能提升。这些结果表明，SMN是一种非常有前景的微调方法，尤其是在标注数据有限的情况下。

🎯 应用场景

该研究成果可广泛应用于计算机视觉领域，尤其是在标注数据获取成本高昂或难以获取的场景下，例如医学图像分析、遥感图像处理等。通过自监督掩码网络，可以更高效地利用预训练模型，降低模型部署和维护的成本，加速相关领域的研究和应用。

📄 摘要（原文）

With the advent of billion-parameter foundation models, efficient fine-tuning has become increasingly important for the adaptation of models to downstream tasks. However, especially in computer vision, it can be hard to achieve good performance when access to quality labeled data is lacking. In this work, we propose a method adapting pretrained generalist models in a self-supervised manner by learning binary masks. These self-supervised masking networks (SMNs) are up to 79x more efficient to store and significantly improve performance on label-efficient downstream tasks. We validate the usefulness of learning binary masks as a fine-tuning method on 8 datasets and 3 model architectures, and we demonstrate the effectiveness of SMNs in 3 label-efficient settings.