Adaptive Multi-head Contrastive Learning

📄 arXiv: 2310.05615v3 📥 PDF

作者: Lei Wang, Piotr Koniusz, Tom Gedeon, Liang Zheng

分类: cs.CV, cs.AI, cs.LG

发布日期: 2023-10-09 (更新: 2024-09-23)

备注: Accepted at the 18th European Conference on Computer Vision (ECCV 2024)

💡 一句话要点

提出自适应多头对比学习以解决对比学习中的相似性评估问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对比学习 多头学习 自适应温度 特征提取 深度学习

📋 核心要点

  1. 现有对比学习方法依赖单一投影头，难以处理样本间和样本内的相似性变化，导致性能受限。
  2. 本文提出自适应多头对比学习，通过多个投影头生成不同特征，使用自适应温度调整相似性度量。
  3. 实验结果表明，AMCL在多种对比学习方法上均能显著提升性能，尤其在多种增强方法下效果更佳。

📝 摘要（中文）

在对比学习中，原始图像的两个不同增强视图被视为正样本对，而不同图像的视图则形成负样本对。现有方法通常使用单一的相似性度量来评估样本对，但由于增强策略的多样性和样本内相似性的变化，来自同一图像的视图可能并不总是相似。同时，不同图像的视图可能比同一图像的视图更相似。因此，强制正样本对高相似性和负样本对低相似性可能难以实现，甚至可能对性能产生负面影响。为了解决这一挑战，本文提出了自适应多头对比学习（AMCL），使用多个投影头生成不同特征集，并通过最大似然估计的解决方案构建预训练损失函数。该方法在多个流行的对比学习方法中进行了实验验证，结果显示其在不同骨干网络和线性探测周期中均有显著提升。

🔬 方法详解

问题定义：现有对比学习方法通常依赖单一的投影头来评估正负样本对的相似性，这导致在样本间和样本内相似性变化时，难以有效区分正负样本对，影响模型性能。

核心思路：本文提出自适应多头对比学习（AMCL），通过多个投影头生成不同特征集，允许模型在处理不同样本对时自适应调整相似性度量，从而更好地应对样本间和样本内的相似性变化。

技术框架：AMCL的整体架构包括多个投影头，每个头生成独特的特征表示。损失函数基于最大似然估计，结合了正负样本对的相似性度量，并通过自适应温度进行调节，以避免不良解的出现。

关键创新：AMCL的主要创新在于引入多个投影头和自适应温度机制，使得模型能够灵活地处理不同样本对的相似性问题，相较于传统方法具有更高的适应性和鲁棒性。

关键设计：在损失函数设计上，AMCL采用了基于头部后验分布的最大似然估计，确保每个样本对的相似性度量都能根据其特征进行动态调整，提升了模型的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AMCL在多个对比学习基线（如SimCLR、MoCo和Barlow Twins）上均实现了显著提升，尤其在使用多种增强方法时，性能提升幅度可达XX%。该方法在不同骨干网络和线性探测周期中均表现出一致的改进效果。

🎯 应用场景

自适应多头对比学习（AMCL）可广泛应用于计算机视觉任务，如图像分类、目标检测和图像检索等领域。其灵活的相似性度量机制使得模型在处理复杂数据时表现更佳，具有重要的实际价值和潜在影响。

📄 摘要（原文）

In contrastive learning, two views of an original image, generated by different augmentations, are considered a positive pair, and their similarity is required to be high. Similarly, two views of distinct images form a negative pair, with encouraged low similarity. Typically, a single similarity measure, provided by a lone projection head, evaluates positive and negative sample pairs. However, due to diverse augmentation strategies and varying intra-sample similarity, views from the same image may not always be similar. Additionally, owing to inter-sample similarity, views from different images may be more akin than those from the same image. Consequently, enforcing high similarity for positive pairs and low similarity for negative pairs may be unattainable, and in some cases, such enforcement could detrimentally impact performance. To address this challenge, we propose using multiple projection heads, each producing a distinct set of features. Our pre-training loss function emerges from a solution to the maximum likelihood estimation over head-wise posterior distributions of positive samples given observations. This loss incorporates the similarity measure over positive and negative pairs, each re-weighted by an individual adaptive temperature, regulated to prevent ill solutions. Our approach, Adaptive Multi-Head Contrastive Learning (AMCL), can be applied to and experimentally enhances several popular contrastive learning methods such as SimCLR, MoCo, and Barlow Twins. The improvement remains consistent across various backbones and linear probing epochs, and becomes more significant when employing multiple augmentation methods.