Enhancing Source-Free Domain Adaptive Object Detection with Low-confidence Pseudo Label Distillation

📄 arXiv: 2407.13524v1 📥 PDF

作者: Ilhoon Yoon, Hyeongjun Kwon, Jin Kim, Junyoung Park, Hyunsung Jang, Kwanghoon Sohn

分类: cs.CV, cs.AI

发布日期: 2024-07-18

备注: ECCV 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出低置信度伪标签蒸馏方法，提升无源域自适应目标检测中小目标和难例的检测性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无源域自适应 目标检测 伪标签 蒸馏学习 Mean-Teacher 低置信度 领域自适应

📋 核心要点

  1. 现有无源域自适应目标检测方法依赖高置信度伪标签，忽略了小目标和难例，导致模型泛化能力受限。
  2. 论文提出低置信度伪标签蒸馏(LPLD)损失，利用RPN的提议挖掘低置信度伪标签，并进行噪声过滤和自适应加权。
  3. 实验表明，LPLD损失能有效减少假阴性，提升模型在跨域目标检测任务上的性能，并在多个基准数据集上超越现有方法。

📝 摘要（中文）

无源域自适应目标检测(SFOD)是一种有前景的策略，它可以在不访问源数据的情况下将训练好的检测器部署到新的、未标记的领域，从而解决了数据隐私和效率方面的重要问题。大多数SFOD方法利用Mean-Teacher(MT)自训练范式，严重依赖于高置信度伪标签(HPL)。然而，这些HPL经常忽略那些在领域转移中经历显著外观变化的小实例。此外，由于训练样本的稀缺性，HPL忽略了低置信度的实例，导致对源域中熟悉实例的有偏适应。为了解决这个限制，我们在基于Mean-Teacher的SFOD框架中引入了低置信度伪标签蒸馏(LPLD)损失。这种新方法旨在利用区域提议网络(RPN)的提议，这些提议可能包含在不熟悉的领域中难以检测的对象。最初，我们使用标准的伪标签技术提取HPL，并从RPN生成的提议中挖掘一组低置信度伪标签(LPL)，留下那些与HPL没有显著重叠的提议。通过利用类关系信息并减少LPLD损失计算的固有噪声的影响，进一步细化这些LPL。此外，我们使用特征距离自适应地加权LPLD损失，以关注包含较大前景区域的LPL。我们的方法在四个跨域目标检测基准上优于以前的SFOD方法。大量的实验表明，我们的LPLD损失通过减少假阴性并促进源模型中领域不变知识的使用，从而实现了有效的适应。代码可在https://github.com/junia3/LPLD 获得。

🔬 方法详解

问题定义：无源域自适应目标检测旨在将模型从有标签的源域迁移到无标签的目标域，而无需访问源域数据。现有方法主要依赖高置信度伪标签进行自训练，但忽略了目标域中难以检测的小目标和低置信度实例，导致模型对源域的偏见，泛化能力不足。

核心思路：论文的核心思路是利用区域提议网络(RPN)产生的提议，挖掘包含潜在目标但置信度较低的伪标签。通过对这些低置信度伪标签进行过滤和提炼，并利用蒸馏学习的方式，引导模型学习目标域中更全面的知识，从而提升模型对小目标和难例的检测能力。

技术框架：整体框架基于Mean-Teacher模型，包含学生模型和教师模型。首先，利用教师模型生成高置信度伪标签。然后，利用RPN生成大量的区域提议，从中筛选出与高置信度伪标签重叠较小的低置信度伪标签。接着，对低置信度伪标签进行噪声过滤，并计算LPLD损失。最后，利用LPLD损失和高置信度伪标签损失共同训练学生模型，并更新教师模型。

关键创新：最重要的技术创新点在于低置信度伪标签蒸馏(LPLD)损失的引入。与现有方法仅依赖高置信度伪标签不同，LPLD损失充分利用了RPN的提议，挖掘了潜在的难例和未被充分学习的实例，从而提升了模型的泛化能力。

关键设计：关键设计包括：1) 低置信度伪标签的筛选策略，通过IoU阈值过滤掉与高置信度伪标签重叠较大的提议。2) 噪声过滤策略，利用类关系信息减少伪标签中的噪声。3) 自适应加权策略，根据特征距离对LPLD损失进行加权，使模型更关注包含较大前景区域的低置信度伪标签。

📊 实验亮点

该方法在四个跨域目标检测基准数据集上进行了评估，实验结果表明，该方法显著优于现有的无源域自适应目标检测方法。例如，在Cityscapes to Foggy Cityscapes数据集上，该方法取得了显著的性能提升，验证了LPLD损失的有效性。

🎯 应用场景

该研究成果可应用于各种需要跨域目标检测的场景，例如自动驾驶、智能监控、遥感图像分析等。在这些场景中，由于数据采集环境的变化，模型往往需要适应新的领域。该方法无需访问源域数据，降低了数据隐私风险，具有重要的实际应用价值和广阔的应用前景。

📄 摘要（原文）

Source-Free domain adaptive Object Detection (SFOD) is a promising strategy for deploying trained detectors to new, unlabeled domains without accessing source data, addressing significant concerns around data privacy and efficiency. Most SFOD methods leverage a Mean-Teacher (MT) self-training paradigm relying heavily on High-confidence Pseudo Labels (HPL). However, these HPL often overlook small instances that undergo significant appearance changes with domain shifts. Additionally, HPL ignore instances with low confidence due to the scarcity of training samples, resulting in biased adaptation toward familiar instances from the source domain. To address this limitation, we introduce the Low-confidence Pseudo Label Distillation (LPLD) loss within the Mean-Teacher based SFOD framework. This novel approach is designed to leverage the proposals from Region Proposal Network (RPN), which potentially encompasses hard-to-detect objects in unfamiliar domains. Initially, we extract HPL using a standard pseudo-labeling technique and mine a set of Low-confidence Pseudo Labels (LPL) from proposals generated by RPN, leaving those that do not overlap significantly with HPL. These LPL are further refined by leveraging class-relation information and reducing the effect of inherent noise for the LPLD loss calculation. Furthermore, we use feature distance to adaptively weight the LPLD loss to focus on LPL containing a larger foreground area. Our method outperforms previous SFOD methods on four cross-domain object detection benchmarks. Extensive experiments demonstrate that our LPLD loss leads to effective adaptation by reducing false negatives and facilitating the use of domain-invariant knowledge from the source model. Code is available at https://github.com/junia3/LPLD.