Object Detection Benchmarks are Incomplete: The Role of Label Errors and Annotation Uncertainty

📄 arXiv: 2609.21822v1 📥 PDF

作者: Sarina Penquitt, Jonathan Klees, Antonia van Betteray, Parssa Jashnieh, Peter Stehr, Matthias Rottmann, Lars Schmarje

分类: cs.CV

发布日期: 2026-09-18

💡 一句话要点

提出高召回率的不确定性感知标注方法以解决目标检测基准不完整问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 目标检测 标注不完整性 不确定性感知 高召回率 数据集重标注 标注错误检测 机器学习 计算机视觉

📋 核心要点

  1. 现有目标检测基准的标注存在显著不完整性，导致标注错误和性能评估不准确。
  2. 提出一种高召回率的标注管道，利用软标签和多名标注者的聚合来捕捉标注的不确定性。
  3. 实验结果显示，新的标注方法显著提高了标注覆盖率，并与人类标注一致性更高。

📝 摘要（中文）

尽管目标检测通过改进架构和开放词汇模型取得了进展，但我们提供了强有力的证据，表明基准质量受到标注不完整性的限制。在四个广泛使用的数据集（COCO、Pascal VOC、Cityscapes、KITTI）上，重新标注显示出标注对象的显著增加（例如，KITTI上增加60%，COCO上增加40%），主要是由于之前未标注的小型、遮挡或密集实例。我们提出了一种可扩展的标注管道，强调高召回率，并通过至少11名标注者聚合的软标签捕捉模糊性。结果表明，基准性能对标注质量高度敏感，尽管模型排名基本保持稳定。我们引入了两个大规模基准：不确定性感知目标检测基准和基于真实标注错误的标签错误检测基准。

🔬 方法详解

问题定义：论文要解决目标检测基准中标注不完整性的问题，现有方法在标注小型、遮挡或密集实例时存在显著缺陷，导致标注错误和性能评估不准确。

核心思路：论文的核心解决思路是引入一种可扩展的标注管道，强调高召回率，并通过聚合来自多名标注者的软标签来捕捉标注的不确定性，从而提高标注质量。

技术框架：整体架构包括数据集的重新标注、标注者的选择与管理、软标签的生成与聚合等主要模块。通过多名标注者的参与，确保标注的多样性和准确性。

关键创新：最重要的技术创新点在于引入了不确定性感知的标注方法，强调高召回率和模糊性捕捉，与现有的确定性标注方法形成鲜明对比。

关键设计：在参数设置上，采用至少11名标注者对每个对象进行标注，使用软标签来表示标注的不确定性，设计了相应的损失函数以优化标注质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，新的标注方法在KITTI数据集上实现了60%的标注增加，在COCO数据集上实现了40%的标注增加，显著提高了标注覆盖率，并与人类标注的一致性更高。当前的检测器对标注质量的依赖性强，且在真实标注错误上表现不佳。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能监控和机器人视觉等，能够显著提升目标检测系统的性能和可靠性。通过改进标注质量，未来的目标检测基准将更好地反映真实世界的复杂性，从而推动相关技术的发展。

📄 摘要（原文）

While object detection has advanced through improved architectures and open-vocabulary models, we provide strong evidence that benchmark quality is limited by annotation incompleteness. Across four widely used datasets (COCO, Pascal VOC, Cityscapes, KITTI), re-annotation reveals substantial increases in annotated objects (e.g., up to +60% on KITTI and +40% on COCO), driven primarily by previously unlabeled small, occluded, or densely packed instances. While some differences arise from dataset-specific annotation conventions, we consistently find that missing annotations are the main source of label errors across all datasets. To achieve high data quality, we introduce a scalable annotation pipeline that emphasizes high recall and captures ambiguity through soft labels aggregated from at least 11 annotators per object. The resulting annotations improve coverage and align well with human calibration. We show that benchmark performance is highly sensitive to annotation quality, although model rankings remain largely stable. We introduce two large-scale benchmarks: (i) an uncertainty-aware object detection benchmark, and (ii) a label error detection benchmark grounded in real label errors. We show that current detectors are strongly depended on annotation quality and are misaligned with human perception. Current label error detection methods, which have been shown to perform well on synthetic noise, struggle to achieve high recall and precision on real label errors. Our results highlight the need for future object detection benchmarks to move beyond deterministic annotations toward high-recall, uncertainty-aware evaluation that maximizes valid instances and better reflects real-world ambiguity.