SeA: Semantic Adversarial Augmentation for Last Layer Features from Unsupervised Representation Learning
作者: Qi Qian, Yuanhong Xu, Juhua Hu
分类: cs.CV, cs.LG
发布日期: 2024-08-23
备注: accepted by ECCV'24
🔗 代码/项目: GITHUB
💡 一句话要点
提出语义对抗增强(SeA)方法，提升无监督表征学习中固定深度特征的下游任务性能。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 语义对抗增强 特征空间增强 无监督表征学习 深度特征 下游任务
📋 核心要点
- 现有方法在利用预训练模型提取的固定深度特征进行下游任务学习时，缺乏有效的特征增强手段，限制了性能。
- SeA方法通过在特征空间中进行语义对抗增强，利用梯度信息在语义子空间内扰动特征，提升模型的泛化能力。
- 实验结果表明，SeA方法在多个下游任务上优于直接使用深度特征，并且在部分任务上可与微调方法媲美。
📝 摘要（中文）
本文提出了一种新颖的语义对抗增强（SeA）方法，用于优化固定深度特征。与微调或线性探测等探索原始输入空间中各种增强方式的方法不同，针对固定深度特征的学习，合适的增强方式更具挑战性且研究较少，这会降低性能。为了释放固定深度特征的潜力，SeA在特征空间中进行优化。具体而言，梯度隐含的对抗方向被投影到由其他样本张成的子空间，以保留语义信息。然后，深度特征将受到语义方向的扰动，并且增强的特征将用于学习分类器。在11个基准下游分类任务和4个流行的预训练模型上进行了实验。结果表明，我们的方法比没有SeA的深度特征平均提高了2％。此外，与预期能提供良好性能的昂贵微调相比，SeA在11个任务中的6个任务上表现出可比的性能，证明了我们提出的方法的有效性和效率。代码可在https://github.com/idstcv/SeA获得。
🔬 方法详解
问题定义：论文旨在解决无监督表征学习中，如何有效利用预训练模型提取的固定深度特征进行下游任务分类的问题。现有方法，如直接使用固定特征或进行线性探测，缺乏针对特征空间的有效增强手段，导致性能受限。微调虽然有效，但计算成本高昂。
核心思路：论文的核心思路是在特征空间中进行语义对抗增强。通过生成对抗样本，提升分类器对特征扰动的鲁棒性。为了避免引入噪声，对抗扰动被限制在由其他样本特征张成的语义子空间内，以保持特征的语义一致性。
技术框架：SeA方法的整体框架如下：1) 使用预训练模型提取图像的深度特征。2) 计算分类损失关于特征的梯度，得到对抗方向。3) 将对抗方向投影到由其他样本特征张成的子空间，得到语义对抗方向。4) 使用语义对抗方向对原始特征进行扰动，生成增强特征。5) 使用原始特征和增强特征训练分类器。
关键创新：SeA的关键创新在于提出了语义对抗增强的概念，将对抗扰动限制在语义子空间内。与传统的对抗训练方法相比，SeA避免了引入与语义无关的噪声，从而更好地提升了模型的泛化能力。
关键设计：SeA的关键设计包括：1) 子空间的构建方式：使用mini-batch中的其他样本特征构建子空间。2) 投影方式：使用正交投影将对抗方向投影到子空间。3) 扰动幅度：通过超参数控制扰动幅度，避免过度扰动导致特征语义改变。4) 损失函数：使用交叉熵损失函数训练分类器。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SeA方法在11个基准下游分类任务上，平均比直接使用深度特征提高了2%。更重要的是，SeA在6个任务上取得了与微调方法相当的性能，证明了其在效率和性能上的优势。这些结果表明，SeA是一种有效的特征增强方法，可以充分利用预训练模型的潜力。
🎯 应用场景
SeA方法可应用于各种需要利用预训练模型进行特征提取的下游任务，例如图像分类、目标检测、图像分割等。该方法尤其适用于计算资源有限，无法进行大规模微调的场景。通过对提取的深度特征进行语义对抗增强，可以有效提升模型的性能和泛化能力，降低对数据量的依赖。
📄 摘要（原文）
Deep features extracted from certain layers of a pre-trained deep model show superior performance over the conventional hand-crafted features. Compared with fine-tuning or linear probing that can explore diverse augmentations, \eg, random crop/flipping, in the original input space, the appropriate augmentations for learning with fixed deep features are more challenging and have been less investigated, which degenerates the performance. To unleash the potential of fixed deep features, we propose a novel semantic adversarial augmentation (SeA) in the feature space for optimization. Concretely, the adversarial direction implied by the gradient will be projected to a subspace spanned by other examples to preserve the semantic information. Then, deep features will be perturbed with the semantic direction, and augmented features will be applied to learn the classifier. Experiments are conducted on $11$ benchmark downstream classification tasks with $4$ popular pre-trained models. Our method is $2\%$ better than the deep features without SeA on average. Moreover, compared to the expensive fine-tuning that is expected to give good performance, SeA shows a comparable performance on $6$ out of $11$ tasks, demonstrating the effectiveness of our proposal in addition to its efficiency. Code is available at \url{https://github.com/idstcv/SeA}.