Source-Free Object Detection with Detection Transformer
作者: Huizai Yao, Sicheng Zhao, Shuo Lu, Hui Chen, Yangyang Li, Guoping Liu, Tengfei Xing, Chenggang Yan, Jianhua Tao, Guiguang Ding
分类: cs.CV, cs.AI
发布日期: 2025-10-13
备注: IEEE Transactions on Image Processing
💡 一句话要点
提出FRANCK框架，通过查询中心特征增强实现DETR的无源域目标检测。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 无源域目标检测 DETR 特征重加权 对比学习 特征蒸馏 自训练 领域自适应
📋 核心要点
- 现有无源域目标检测方法大多局限于Faster R-CNN等传统模型，缺乏对DETR等新型架构的针对性适配。
- FRANCK框架通过对象性分数重加权、对比学习、不确定性加权特征蒸馏和动态教师更新等模块，实现DETR的查询中心特征增强。
- 在多个基准数据集上的实验表明，FRANCK框架达到了最先进的性能，验证了其有效性和与DETR模型的兼容性。
📝 摘要（中文）
本文提出了一种名为Feature Reweighting ANd Contrastive Learning NetworK (FRANCK) 的无源域目标检测 (SFOD) 框架，专门为Detection Transformer (DETR) 执行查询中心特征增强。FRANCK包含四个关键组件：(1) 基于对象性分数的样本重加权 (OSSR) 模块，计算多尺度编码器特征图上的基于注意力的对象性分数，重新加权检测损失以强调较少识别的区域；(2) 具有基于匹配的记忆库的对比学习 (CMMB) 模块，将多级特征集成到记忆库中，增强类对比学习；(3) 不确定性加权查询融合特征蒸馏 (UQFD) 模块，通过预测质量重加权和查询特征融合来改进特征蒸馏；(4) 改进的具有动态教师更新间隔 (DTUI) 的自训练流水线，优化伪标签质量。通过利用这些组件，FRANCK有效地将源预训练的DETR模型适应到目标域，并增强了鲁棒性和泛化能力。在几个广泛使用的基准上的大量实验表明，该方法实现了最先进的性能，突出了其有效性和与基于DETR的SFOD模型的兼容性。
🔬 方法详解
问题定义：无源域目标检测（SFOD）旨在将知识从源域迁移到无监督的目标域，而无需访问源数据。现有的SFOD方法主要集中在Faster R-CNN等传统目标检测模型上，或者被设计为通用解决方案，缺乏对DETR等新型目标检测架构的专门适配。因此，如何有效地将预训练的DETR模型迁移到新的目标域，是本文要解决的核心问题。
核心思路：本文的核心思路是通过查询中心特征增强来提升DETR在目标域上的性能。具体来说，通过一系列模块，包括对象性分数重加权、对比学习、不确定性加权特征蒸馏和动态教师更新，来增强DETR的特征表示能力，从而提高其在目标域上的检测精度和泛化能力。这种设计思路旨在弥补现有SFOD方法在DETR架构上的不足。
技术框架：FRANCK框架主要包含四个关键模块：(1) 对象性分数重加权 (OSSR) 模块：利用注意力机制计算多尺度特征图上的对象性分数，并根据分数调整检测损失，从而关注更难识别的区域。(2) 对比学习与匹配记忆库 (CMMB) 模块：将多层特征整合到记忆库中，增强类间对比学习，提升特征的区分性。(3) 不确定性加权查询融合特征蒸馏 (UQFD) 模块：通过预测质量重加权和查询特征融合，改进特征蒸馏过程，提升模型性能。(4) 动态教师更新间隔 (DTUI) 的自训练流水线：优化伪标签的质量，从而提升自训练的效果。
关键创新：FRANCK框架的关键创新在于其针对DETR架构的查询中心特征增强设计。与现有SFOD方法不同，FRANCK不是简单地将传统方法应用于DETR，而是专门设计了一系列模块来解决DETR在无源域目标检测中面临的挑战。例如，OSSR模块通过对象性分数来关注难识别区域，CMMB模块通过对比学习来增强特征的区分性，UQFD模块通过不确定性加权来提升特征蒸馏的效果。
关键设计：OSSR模块中，对象性分数的计算基于注意力机制，可以有效地捕捉图像中的目标区域。CMMB模块中，记忆库的设计可以存储和利用历史特征信息，从而增强对比学习的效果。UQFD模块中，不确定性权重的计算基于预测结果的置信度，可以有效地过滤掉噪声信息。DTUI模块中，动态调整教师模型的更新间隔，可以平衡伪标签的质量和数量。
🖼️ 关键图片
📊 实验亮点
FRANCK框架在多个广泛使用的基准数据集上取得了最先进的性能，证明了其有效性。具体来说，FRANCK在各种数据集上都显著优于现有的SFOD方法，尤其是在DETR模型上的表现更为突出。这些实验结果表明，FRANCK框架能够有效地将源域知识迁移到目标域，并提升DETR模型的鲁棒性和泛化能力。
🎯 应用场景
该研究成果可应用于各种需要无源域目标检测的场景，例如自动驾驶、智能监控、医学图像分析等。在这些场景中，由于数据隐私、标注成本等原因，无法获取大量的目标域标注数据，因此无源域目标检测技术具有重要的应用价值。该研究可以帮助提升这些应用场景下的目标检测性能，从而提高系统的智能化水平。
📄 摘要（原文）
Source-Free Object Detection (SFOD) enables knowledge transfer from a source domain to an unsupervised target domain for object detection without access to source data. Most existing SFOD approaches are either confined to conventional object detection (OD) models like Faster R-CNN or designed as general solutions without tailored adaptations for novel OD architectures, especially Detection Transformer (DETR). In this paper, we introduce Feature Reweighting ANd Contrastive Learning NetworK (FRANCK), a novel SFOD framework specifically designed to perform query-centric feature enhancement for DETRs. FRANCK comprises four key components: (1) an Objectness Score-based Sample Reweighting (OSSR) module that computes attention-based objectness scores on multi-scale encoder feature maps, reweighting the detection loss to emphasize less-recognized regions; (2) a Contrastive Learning with Matching-based Memory Bank (CMMB) module that integrates multi-level features into memory banks, enhancing class-wise contrastive learning; (3) an Uncertainty-weighted Query-fused Feature Distillation (UQFD) module that improves feature distillation through prediction quality reweighting and query feature fusion; and (4) an improved self-training pipeline with a Dynamic Teacher Updating Interval (DTUI) that optimizes pseudo-label quality. By leveraging these components, FRANCK effectively adapts a source-pre-trained DETR model to a target domain with enhanced robustness and generalization. Extensive experiments on several widely used benchmarks demonstrate that our method achieves state-of-the-art performance, highlighting its effectiveness and compatibility with DETR-based SFOD models.