DebGCD: Debiased Learning with Distribution Guidance for Generalized Category Discovery
作者: Yuanpei Liu, Kai Han
分类: cs.CV
发布日期: 2025-04-07
备注: Accepted as a conference paper at ICLR 2025
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
DebGCD：面向广义类别发现，提出基于分布引导的解偏学习框架。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 广义类别发现 解偏学习 分布引导 课程学习 语义分布检测 自监督学习 图像分类
📋 核心要点
- 广义类别发现（GCD）面临已知类别和未知类别间的标签偏差问题，现有方法未能有效解决。
- DebGCD框架通过联合训练解偏分类器和引入语义分布检测器，从而隐式提升GCD的学习效果。
- 实验结果表明，DebGCD在GCD基准测试中取得了领先的性能，验证了其有效性。
📝 摘要（中文）
本文致力于解决广义类别发现（GCD）问题。给定一个包含带标签和无标签图像的数据集，目标是对无标签子集中的所有图像进行分类，无论它们是来自已知类别还是未知类别。在GCD中，由于缺乏未知类别的真实标签，已知类别和未知类别之间存在固有的标签偏差。目前最先进的GCD方法利用通过软标签自蒸馏训练的参数化分类器，但忽略了偏差问题。此外，它们统一对待所有未标记样本，忽略了确定性水平的变化，导致次优学习。更重要的是，有效GCD的一个重要方面，即显式识别已知类别和未知类别之间的语义分布偏移，也被忽略了。为了应对这些挑战，我们提出了DebGCD，一个用于GCD的基于分布引导的解偏学习框架。最初，DebGCD在与GCD分类器相同的特征空间中共同训练一个辅助的解偏分类器，逐步增强GCD特征。此外，我们在一个单独的特征空间中引入了一个语义分布检测器，以隐式地提高GCD的学习效率。此外，我们采用基于语义分布确定性的课程学习策略，以优化的速度引导解偏学习。在GCD基准上的全面评估表明，我们的框架具有持续的state-of-the-art性能，突出了其优越性。
🔬 方法详解
问题定义：广义类别发现（GCD）旨在同时识别已知类别和未知类别。现有方法主要依赖于自蒸馏训练的参数化分类器，但忽略了已知类别和未知类别之间由于标签缺失而产生的偏差。此外，现有方法对所有未标记样本一视同仁，没有考虑到样本置信度的差异，并且缺乏对已知和未知类别之间语义分布差异的显式建模。
核心思路：DebGCD的核心思路是通过引入一个辅助的解偏分类器和一个语义分布检测器来缓解标签偏差，并利用课程学习策略来优化学习过程。解偏分类器旨在减少已知类别对未知类别的影响，语义分布检测器用于识别已知和未知类别之间的分布差异，课程学习策略则根据样本的置信度来调整学习难度。
技术框架：DebGCD框架包含三个主要模块：GCD分类器、解偏分类器和语义分布检测器。GCD分类器是主要分类器，用于预测样本的类别。解偏分类器与GCD分类器在同一特征空间中共同训练，旨在减少标签偏差。语义分布检测器在单独的特征空间中工作，用于检测已知和未知类别之间的分布差异。此外，框架还采用了基于语义分布确定性的课程学习策略，以优化学习过程。
关键创新：DebGCD的关键创新在于：1) 引入了解偏学习机制，通过共同训练解偏分类器来缓解标签偏差；2) 提出了语义分布检测器，用于显式地建模已知和未知类别之间的分布差异；3) 采用了基于语义分布确定性的课程学习策略，以优化学习过程。与现有方法相比，DebGCD更有效地解决了标签偏差问题，并能够更好地利用未标记样本的信息。
关键设计：解偏分类器与GCD分类器共享相同的特征提取器，但具有不同的分类头。解偏分类器的目标是预测样本属于已知类别的概率，并利用这个概率来调整GCD分类器的预测结果，从而减少标签偏差。语义分布检测器采用了一个简单的神经网络结构，输入是样本的特征向量，输出是样本属于已知类别的概率。课程学习策略根据语义分布检测器的输出结果来调整样本的学习权重，置信度高的样本具有更高的权重。
🖼️ 关键图片
📊 实验亮点
DebGCD在多个GCD基准数据集上取得了state-of-the-art的性能。例如，在ImageNet-100数据集上，DebGCD相比现有最佳方法取得了显著的性能提升，验证了其在解决广义类别发现问题上的有效性。实验结果表明，解偏学习和语义分布引导能够有效提升模型的分类精度和泛化能力。
🎯 应用场景
DebGCD可应用于图像分类、目标检测等任务中，尤其适用于存在大量未标记数据和类别分布不平衡的场景，例如：自动驾驶中的交通标志识别、医学图像分析中的疾病诊断、以及电商平台中的商品分类等。该研究有助于提升模型在实际应用中的泛化能力和鲁棒性。
📄 摘要（原文）
In this paper, we tackle the problem of Generalized Category Discovery (GCD). Given a dataset containing both labelled and unlabelled images, the objective is to categorize all images in the unlabelled subset, irrespective of whether they are from known or unknown classes. In GCD, an inherent label bias exists between known and unknown classes due to the lack of ground-truth labels for the latter. State-of-the-art methods in GCD leverage parametric classifiers trained through self-distillation with soft labels, leaving the bias issue unattended. Besides, they treat all unlabelled samples uniformly, neglecting variations in certainty levels and resulting in suboptimal learning. Moreover, the explicit identification of semantic distribution shifts between known and unknown classes, a vital aspect for effective GCD, has been neglected. To address these challenges, we introduce DebGCD, a \underline{Deb}iased learning with distribution guidance framework for \underline{GCD}. Initially, DebGCD co-trains an auxiliary debiased classifier in the same feature space as the GCD classifier, progressively enhancing the GCD features. Moreover, we introduce a semantic distribution detector in a separate feature space to implicitly boost the learning efficacy of GCD. Additionally, we employ a curriculum learning strategy based on semantic distribution certainty to steer the debiased learning at an optimized pace. Thorough evaluations on GCD benchmarks demonstrate the consistent state-of-the-art performance of our framework, highlighting its superiority. Project page: https://visual-ai.github.io/debgcd/