Generalized Logit Adjustment: Calibrating Fine-tuned Models by Removing Label Bias in Foundation Models

📄 arXiv: 2310.08106v4 📥 PDF

作者: Beier Zhu, Kaihua Tang, Qianru Sun, Hanwang Zhang

分类: cs.CV

发布日期: 2023-10-12 (更新: 2026-01-07)

备注: Accepted by NeurIPS2023

🔗 代码/项目: GITHUB

💡 一句话要点

提出广义逻辑调整方法以消除基础模型中的标签偏差

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 基础模型 标签偏差 广义逻辑调整 微调 长尾分类 计算机视觉 优化算法

📋 核心要点

  1. 现有方法未能充分考虑基础模型中的固有偏差，导致微调和集成仍然存在偏差问题。
  2. 提出的广义逻辑调整（GLA）方法通过优化偏差估计来消除基础模型中的标签偏差。
  3. GLA在多个任务上表现出显著的性能提升，包括ImageNet和长尾分类任务，验证了其有效性。

📝 摘要（中文）

基础模型如CLIP能够在各种任务上实现零样本迁移，但其零样本性能不如完全监督的模型。为提升性能，通常采用微调和集成方法。然而，现有研究忽视了基础模型中的固有偏差。由于网络规模训练集的不平衡，这些模型不可避免地偏向于频繁的语义。因此，微调或集成仍然存在偏差。本文系统性地研究了基础模型中的偏差，并提出了广义逻辑调整（GLA）方法，采用基于优化的偏差估计方法来消除偏差。GLA在多个任务上显著提升性能，包括在ImageNet上提高1.5个百分点，在11个少样本数据集上平均提升1.4-4.6个百分点，以及在长尾分类任务中提升2.4个百分点。

🔬 方法详解

问题定义：本文旨在解决基础模型在微调和集成过程中由于训练集偏差导致的性能不足问题。现有方法未能有效识别和消除这些偏差，影响了模型的实际应用效果。

核心思路：提出的广义逻辑调整（GLA）方法通过优化算法对基础模型中的偏差进行估计和调整，从而消除标签偏差，提升模型在下游任务中的表现。

技术框架：GLA方法的整体架构包括偏差估计模块和调整模块。偏差估计模块通过优化算法分析基础模型的输出，识别偏差来源；调整模块则根据估计结果对模型进行调整，以消除偏差。

关键创新：GLA的主要创新在于其优化基础的偏差估计方法，能够在缺乏明确训练数据的情况下有效识别和消除偏差。这一方法与传统的长尾分类任务处理方式有本质区别，提供了一种新的思路。

关键设计：在实现GLA时，采用了特定的损失函数来量化偏差，并设计了适应性调整机制，以确保模型在不同任务中的泛化能力和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GLA方法在ImageNet上实现了1.5个百分点的准确率提升，在11个少样本数据集上平均提升1.4-4.6个百分点，并在长尾分类任务中提升2.4个百分点，显著优于现有基线方法。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理等多个需要处理偏差的任务。通过消除基础模型中的标签偏差，GLA方法能够提升模型在实际应用中的可靠性和准确性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Foundation models like CLIP allow zero-shot transfer on various tasks without additional training data. Yet, the zero-shot performance is less competitive than a fully supervised one. Thus, to enhance the performance, fine-tuning and ensembling are also commonly adopted to better fit the downstream tasks. However, we argue that such prior work has overlooked the inherent biases in foundation models. Due to the highly imbalanced Web-scale training set, these foundation models are inevitably skewed toward frequent semantics, and thus the subsequent fine-tuning or ensembling is still biased. In this study, we systematically examine the biases in foundation models and demonstrate the efficacy of our proposed Generalized Logit Adjustment (GLA) method. Note that bias estimation in foundation models is challenging, as most pre-train data cannot be explicitly accessed like in traditional long-tailed classification tasks. To this end, GLA has an optimization-based bias estimation approach for debiasing foundation models. As our work resolves a fundamental flaw in the pre-training, the proposed GLA demonstrates significant improvements across a diverse range of tasks: it achieves 1.5 pp accuracy gains on ImageNet, an large average improvement (1.4-4.6 pp) on 11 few-shot datasets, 2.4 pp gains on long-tailed classification. Codes are in https://github.com/BeierZhu/GLA.