Open-Vocabulary Models and Label Propagation for Uncertainty-aware Pseudo-Labeling of Object Detection Datasets
作者: Jonathan Klees, Timo Heller, Matthias Rottmann
分类: cs.CV
发布日期: 2026-10-21
💡 一句话要点
提出半监督框架以解决目标检测数据集的不确定性标注问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 目标检测 半监督学习 不确定性标注 开放词汇模型 图传播 软标签 计算机视觉
📋 核心要点
- 现有目标检测方法依赖于大量手动标注的数据集，标注成本高且效率低下。
- 本文提出的半监督框架利用开放词汇模型和图传播技术，实现不确定性感知的标注。
- 在多个目标检测基准上，实验结果显示该方法在标注成本仅为1%的情况下，性能接近完全手动标注的数据集。
📝 摘要（中文）
目标检测模型依赖于大规模标注数据集，这需要大量的人工标注工作。当通过软标签捕捉标注不确定性时，标注成本进一步增加。为此，本文提出了一种半监督框架，用于不确定性感知的目标检测数据集标注。该方法利用开放词汇目标检测器生成区域提议和语义上有意义的对象表示，构建对象级相似性图并传播概率标签信息。通过这种方式，框架为先前未标记的对象分配软标签，量化了随机不确定性和认知不确定性。实验表明，使用少量手动标注的对象即可获得高质量的标注，且在COCO数据集上实现了与完全手动标注数据训练的模型相当的性能。
🔬 方法详解
问题定义：本文旨在解决目标检测数据集标注中的不确定性问题，现有方法在捕捉标注不确定性时需要多次标注，导致成本高昂。
核心思路：提出一种半监督框架，利用开放词汇目标检测器生成区域提议和语义表示，并通过构建相似性图传播标签信息，从而为未标记对象分配软标签。
技术框架：整体架构包括开放词汇目标检测器、对象级相似性图构建和标签传播三个主要模块。首先生成区域提议，然后构建相似性图，最后进行标签信息的传播。
关键创新：最重要的创新在于结合开放词汇模型与图传播技术，实现了对不确定性标注的有效处理，与传统方法相比，显著降低了标注成本。
关键设计：在模型设计中，采用了软标签机制来量化随机和认知不确定性，损失函数设计上考虑了标签传播的概率性，以提高标注的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在COCO数据集上，该方法实现了40.5%的AP，与完全手动标注模型的40.9%相当，而标注成本仅为1%。这一结果表明，开放词汇模型和图传播技术在半监督目标检测中的有效性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在需要大量标注数据的计算机视觉任务中，如自动驾驶、智能监控和机器人视觉等领域。通过降低标注成本和提高标注效率，能够加速相关领域的研究和应用进程，推动智能系统的快速发展。
📄 摘要（原文）
Object detection models rely on large-scale annotated datasets that require substantial manual annotation effort. The labeling costs further increase when annotation uncertainty is captured through soft labels, as multiple annotations must be collected for each object. We address this challenge by introducing a semi-supervised framework for the uncertainty-aware annotation of object detection datasets. Our approach leverages open-vocabulary object detectors to generate region proposals and semantically meaningful object representations. Based on these representations, we construct an object-level similarity graph and propagate probabilistic label information. Our framework assigns soft labels to previously unlabeled objects, quantifying both aleatoric and epistemic uncertainty. We evaluate our method on four object detection benchmarks with soft-label annotations and demonstrate that high-quality annotations can be obtained with only a small fraction of manually labeled objects. Furthermore, we show that detectors trained on semi-automatically annotated data achieve performance comparable to models trained on fully manually annotated data. We achieve state-of-the-art downstream detection performance for the task of semi-supervised object detection on the COCO dataset, with 40.5% AP virtually matching the performance of the model trained on fully manually constructed data (40.9%) at only 1% of labeling costs. These results highlight the potential of open-vocabulary models and graph-based label propagation for efficient, accurate and uncertainty-aware pseudo-labeling.