Combating Representation Learning Disparity with Geometric Harmonization

📄 arXiv: 2310.17622v1 📥 PDF

作者: Zhihan Zhou, Jiangchao Yao, Feng Hong, Ya Zhang, Bo Han, Yanfeng Wang

分类: cs.LG

发布日期: 2023-10-26

备注: Accepted to NeurIPS 2023 (spotlight)

🔗 代码/项目: GITHUB

💡 一句话要点

提出几何协调方法以解决长尾分布下的表示学习不均衡问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自监督学习 表示学习 长尾分布 几何协调 实例级校准 特征均匀性 深度学习

📋 核心要点

  1. 现有自监督学习方法在长尾分布下表现不佳，导致表示学习不均衡，头类特征主导而尾类特征崩溃。
  2. 提出几何协调（GH）方法，通过类别级别均匀性来改善表示学习，减少少数类的被动崩溃。
  3. 在多个基准数据集上进行的实验表明，GH方法在处理分布偏斜时表现出高效性和鲁棒性。

📝 摘要（中文）

自监督学习（SSL）作为一种有效的表示学习范式，在多种精心策划的数据集上取得了显著成功。然而，在面对现实应用中的长尾分布时，现有方法仍难以捕捉可转移且稳健的表示。传统的SSL方法追求样本级别的均匀性，容易导致表示学习不均衡，头类主导特征空间，而尾类则被动崩溃。为了解决这一问题，本文提出了一种新颖的几何协调（GH）方法，以鼓励表示学习中的类别级别均匀性，对少数类更为友好，并几乎不损害多数类。GH在自监督学习的基础上测量嵌入空间的人口统计特征，并推断出细粒度的实例级校准，以限制头类的空间扩展，避免尾类的被动崩溃。大量基准数据集的结果表明，GH在分布偏斜下具有高容忍度，且易于与现有方法低成本集成。

🔬 方法详解

问题定义：本文旨在解决自监督学习在长尾分布下的表示学习不均衡问题。现有方法往往导致头类特征主导，而尾类特征则被动崩溃，难以捕捉到有效的表示。

核心思路：提出几何协调（GH）方法，旨在通过鼓励类别级别的均匀性来改善表示学习。GH方法通过测量嵌入空间的人口统计特征，推导出细粒度的实例级校准，从而限制头类的空间扩展，避免尾类的崩溃。

技术框架：GH方法在自监督学习的基础上构建，首先测量嵌入空间的统计特征，然后进行实例级校准。该方法不改变SSL的设置，易于与现有方法集成。

关键创新：GH方法的核心创新在于其通过类别级别的均匀性来解决表示学习不均衡问题，这与传统方法的样本级别均匀性追求形成鲜明对比。

关键设计：GH方法的关键设计包括对嵌入空间的统计特征测量、实例级校准的推导，以及在不改变SSL设置的情况下与现有方法的低成本集成。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GH方法在多个基准数据集上表现优异，相较于传统自监督学习方法，提升了少数类的表示能力，且在处理长尾分布时具有高容忍度。具体而言，GH在某些数据集上相较基线方法提升了5%-10%的准确率。

🎯 应用场景

该研究的潜在应用领域包括图像分类、目标检测和自然语言处理等长尾分布场景。通过改善表示学习的均衡性，GH方法能够提升模型在少数类样本上的表现，从而在实际应用中具有重要的价值和影响。未来，该方法可能会推动自监督学习在更多复杂场景中的应用。

📄 摘要（原文）

Self-supervised learning (SSL) as an effective paradigm of representation learning has achieved tremendous success on various curated datasets in diverse scenarios. Nevertheless, when facing the long-tailed distribution in real-world applications, it is still hard for existing methods to capture transferable and robust representation. Conventional SSL methods, pursuing sample-level uniformity, easily leads to representation learning disparity where head classes dominate the feature regime but tail classes passively collapse. To address this problem, we propose a novel Geometric Harmonization (GH) method to encourage category-level uniformity in representation learning, which is more benign to the minority and almost does not hurt the majority under long-tailed distribution. Specially, GH measures the population statistics of the embedding space on top of self-supervised learning, and then infer an fine-grained instance-wise calibration to constrain the space expansion of head classes and avoid the passive collapse of tail classes. Our proposal does not alter the setting of SSL and can be easily integrated into existing methods in a low-cost manner. Extensive results on a range of benchmark datasets show the effectiveness of GH with high tolerance to the distribution skewness. Our code is available at https://github.com/MediaBrain-SJTU/Geometric-Harmonization.