Unsupervised Representation Learning to Aid Semi-Supervised Meta Learning

📄 arXiv: 2310.13085v1 📥 PDF

作者: Atik Faysal, Mohammad Rostami, Huaxia Wang, Avimanyu Sahoo, Ryan Antle

分类: cs.LG, cs.AI

发布日期: 2023-10-19

💡 一句话要点

提出无监督表示学习以辅助半监督元学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 少样本学习 元学习 无监督学习 模型无关 数据稀缺

📋 核心要点

  1. 现有方法在少样本学习中依赖大量标注数据，导致数据稀缺问题难以解决。
  2. 本文提出一种单次无监督元学习方法，通过学习训练样本的潜在表示来应对数据稀缺。
  3. 实验结果表明，所提方法在Omniglot和mini-Imagenet数据集上显著提高了模型的准确性。

📝 摘要（中文）

少样本学习或元学习利用机器学习中的数据稀缺问题。传统上，训练数据需要大量样本和标签以进行监督学习。为了解决这一问题，本文提出了一种单次无监督元学习方法，以学习训练样本的潜在表示。在无监督元学习的训练阶段，我们使用增强样本作为查询集，并在元学习的内循环中采用温度缩放的交叉熵损失，以防止无监督学习中的过拟合。通过这种方式学习的参数被应用于目标监督元学习中，以转移学习的方式进行初始化和快速适应，从而提高准确性。该方法是模型无关的，可以帮助任何元学习模型提高准确性。我们在Omniglot和mini-Imagenet数据集上使用模型无关元学习（MAML）和关系网络（RN）来展示所提方法的性能。此外，采用该初始化的元学习模型能够在显著减少训练样本的情况下实现令人满意的准确性。

🔬 方法详解

问题定义：本文旨在解决少样本学习中对大量标注数据的依赖问题，现有方法在数据稀缺情况下表现不佳，限制了其应用。

核心思路：提出一种单次无监督元学习方法，通过学习样本的潜在表示，利用增强样本作为查询集，结合温度缩放的交叉熵损失以防止过拟合。

技术框架：整体流程包括无监督元学习阶段和目标监督元学习阶段。在无监督阶段，模型通过增强样本进行训练，学习潜在表示；在监督阶段，利用无监督阶段学习到的参数进行初始化和快速适应。

关键创新：该方法的创新在于将无监督学习与元学习结合，提出了一种新的初始化策略，能够有效提高模型在少样本情况下的表现。

关键设计：采用温度缩放的交叉熵损失函数以控制模型的学习过程，防止过拟合；模型架构为模型无关，适用于多种元学习模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用所提初始化的元学习模型在Omniglot和mini-Imagenet数据集上，准确性显著提高，尤其是在训练样本数量显著减少的情况下，表现出更好的适应性和准确性。

🎯 应用场景

该研究的潜在应用领域包括图像分类、自然语言处理等需要快速适应新任务的场景。通过减少对标注数据的依赖，能够在数据稀缺的情况下实现高效学习，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Few-shot learning or meta-learning leverages the data scarcity problem in machine learning. Traditionally, training data requires a multitude of samples and labeling for supervised learning. To address this issue, we propose a one-shot unsupervised meta-learning to learn the latent representation of the training samples. We use augmented samples as the query set during the training phase of the unsupervised meta-learning. A temperature-scaled cross-entropy loss is used in the inner loop of meta-learning to prevent overfitting during unsupervised learning. The learned parameters from this step are applied to the targeted supervised meta-learning in a transfer-learning fashion for initialization and fast adaptation with improved accuracy. The proposed method is model agnostic and can aid any meta-learning model to improve accuracy. We use model agnostic meta-learning (MAML) and relation network (RN) on Omniglot and mini-Imagenet datasets to demonstrate the performance of the proposed method. Furthermore, a meta-learning model with the proposed initialization can achieve satisfactory accuracy with significantly fewer training samples.