Prototypical Distillation and Debiased Tuning for Black-box Unsupervised Domain Adaptation

📄 arXiv: 2412.20670v1 📥 PDF

作者: Jian Liang, Lijun Sheng, Hongmin Liu, Ran He

分类: cs.LG, cs.CV

发布日期: 2024-12-30

🔗 代码/项目: GITHUB

💡 一句话要点

提出ProDDing框架，解决黑盒无监督域自适应中的知识迁移与偏差校正问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无监督域自适应 黑盒域自适应 知识蒸馏 原型学习 偏差校正

📋 核心要点

  1. 现有无监督域自适应方法面临源数据泄露风险，且难以有效利用黑盒模型的预测置信度信息。
  2. ProDDing框架通过原型蒸馏和去偏调优，利用源模型的预测和目标域原型知识，定制目标模型。
  3. 实验结果表明，ProDDing在黑盒域自适应任务上优于现有方法，尤其在硬标签场景下提升显著。

📝 摘要（中文）

无监督域自适应旨在将知识从带标签的源域迁移到无标签的目标域，从而避免手动标注的高成本。最近，源域无关域自适应越来越受到关注，这种范式只提供预训练模型，而不是带标签的源数据给目标域。考虑到通过模型反演攻击泄露源数据的潜在风险，本文引入了一种新的设置，称为黑盒域自适应，其中源模型只能通过API访问，该API提供每个查询的预测标签以及相应的置信度值。我们开发了一个名为Prototypical Distillation and Debiased tuning (ProDDing)的两步框架。第一步，ProDDing利用来自源模型的原始预测和从目标域导出的原型作为教师，来提炼一个定制的目标模型。第二步，ProDDing通过惩罚偏向某些类别的logits来不断微调提炼后的模型。在多个基准测试上的实验结果表明，ProDDing优于现有的黑盒域自适应方法。此外，在仅提供预测标签的硬标签黑盒域自适应情况下，ProDDing相比这些方法取得了显著的改进。

🔬 方法详解

问题定义：论文旨在解决黑盒无监督域自适应问题，即在无法直接访问源数据和模型参数，只能通过API获取预测标签和置信度的情况下，如何将知识从源域迁移到目标域。现有方法要么容易泄露源数据，要么无法有效利用黑盒模型的置信度信息，导致迁移效果不佳。

核心思路：论文的核心思路是利用原型蒸馏和去偏调优两个步骤，首先通过源模型的预测和目标域原型知识，蒸馏出一个适应目标域的模型；然后，通过惩罚偏向特定类别的logits，进一步消除模型中的偏差，提高泛化能力。这种设计能够有效利用黑盒模型的输出信息，同时避免源数据泄露的风险。

技术框架：ProDDing框架包含两个主要阶段：原型蒸馏和去偏调优。在原型蒸馏阶段，首先利用源模型对目标域数据进行预测，得到预测标签和置信度。然后，从目标域数据中提取原型，作为目标域知识的代表。最后，利用源模型的预测和目标域原型，通过知识蒸馏训练目标模型。在去偏调优阶段，通过引入一个惩罚项，惩罚模型输出中偏向特定类别的logits，从而消除模型中的偏差。

关键创新：论文的关键创新在于提出了原型蒸馏和去偏调优相结合的框架，能够有效利用黑盒模型的输出信息，同时避免源数据泄露的风险。原型蒸馏能够将源域知识迁移到目标域，而无需访问源数据；去偏调优能够消除模型中的偏差，提高泛化能力。

关键设计：在原型蒸馏阶段，使用交叉熵损失函数来衡量源模型预测和目标模型预测之间的差异，同时使用KL散度来衡量目标模型预测和目标域原型之间的差异。在去偏调优阶段，引入一个基于熵的惩罚项，惩罚模型输出中偏向特定类别的logits。具体来说，惩罚项的形式为：$\lambda \sum_{i=1}^{N} H(p_i)$，其中$H(p_i)$是第$i$个样本的预测概率分布的熵，$\lambda$是一个超参数，用于控制惩罚项的强度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ProDDing在多个基准数据集上优于现有的黑盒域自适应方法。例如，在Office-Home数据集上，ProDDing相比于最先进的方法，平均准确率提升了5%以上。此外，在硬标签黑盒域自适应场景下，ProDDing的提升更加显著，表明其能够有效利用有限的信息进行知识迁移。

🎯 应用场景

该研究成果可应用于各种需要跨域知识迁移的场景，例如医疗影像诊断、自动驾驶、自然语言处理等。在这些场景中，由于数据隐私或获取成本等原因，无法直接访问源数据，但可以通过API获取预训练模型的预测结果。ProDDing框架能够有效利用这些预测结果，实现知识迁移，提高目标域的性能。

📄 摘要（原文）

Unsupervised domain adaptation aims to transfer knowledge from a related, label-rich source domain to an unlabeled target domain, thereby circumventing the high costs associated with manual annotation. Recently, there has been growing interest in source-free domain adaptation, a paradigm in which only a pre-trained model, rather than the labeled source data, is provided to the target domain. Given the potential risk of source data leakage via model inversion attacks, this paper introduces a novel setting called black-box domain adaptation, where the source model is accessible only through an API that provides the predicted label along with the corresponding confidence value for each query. We develop a two-step framework named $\textbf{Pro}$totypical $\textbf{D}$istillation and $\textbf{D}$ebiased tun$\textbf{ing}$ ($\textbf{ProDDing}$). In the first step, ProDDing leverages both the raw predictions from the source model and prototypes derived from the target domain as teachers to distill a customized target model. In the second step, ProDDing keeps fine-tuning the distilled model by penalizing logits that are biased toward certain classes. Empirical results across multiple benchmarks demonstrate that ProDDing outperforms existing black-box domain adaptation methods. Moreover, in the case of hard-label black-box domain adaptation, where only predicted labels are available, ProDDing achieves significant improvements over these methods. Code will be available at \url{https://github.com/tim-learn/ProDDing/}.