Confidence Scores in Open-Vocabulary Detection Are a Biased Mixture of Scale and Semantics

📄 arXiv: 2607.10993v1 📥 PDF

作者: Yi Tang Soon, Jun-Wei Hsieh

分类: cs.CV

发布日期: 2026-07-13

备注: ICPR Workshop 2026 (FMVA)

💡 一句话要点

提出温度缩放校正以解决开放词汇检测中的信心分数偏差问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放词汇检测 信心分数 尺度偏差 语义偏差 温度缩放校正 CLIP模型 物体检测 计算机视觉

📋 核心要点

  1. 现有的开放词汇物体检测方法在信心分数上存在偏差，无法准确反映真实的检测信号。
  2. 论文提出了一种温度缩放校正方法，旨在减少信心分数中的尺度和语义偏差。
  3. 实验结果表明，采用温度缩放校正后，小物体的Recall@10提高了19.6%，显示出显著的性能提升。

📝 摘要（中文）

基础模型如CLIP使得开放词汇物体检测器能够通过视觉-语言相似性对新类别进行泛化。然而，这些检测器产生的信心分数并不是可靠的定位概率估计，它们将视觉尺度和语义查询的特异性与真实检测信号混合在一起。通过在COCO上对三种基础模型检测器（GroundingDINO、OWL-ViT、YOLO-World）进行控制实验，并在LVIS（1,203个类别）上进一步验证尺度偏差的发现，结果显示s=cos(v,t)是两种效应的偏差混合。尺度偏差系统性地抬高了大物体的分数，而语义偏差则抑制了通用查询的分数。阈值调整无法消除这些偏差，而无参数的温度缩放校正在不重新训练的情况下提高了小物体的Recall@10达19.6%。

🔬 方法详解

问题定义：论文要解决的问题是开放词汇检测器在生成信心分数时存在的偏差，具体表现为视觉尺度和语义查询特异性对检测信号的混淆。现有方法无法有效消除这些偏差，导致检测性能不稳定。

核心思路：论文的核心思路是通过引入温度缩放校正来调整信心分数，从而减少尺度和语义偏差的影响。该方法不需要重新训练模型，便于实际应用。

技术框架：整体架构包括三个主要模块：基础模型（如CLIP）、信心分数生成模块和温度缩放校正模块。首先，基础模型生成初步的信心分数，然后通过校正模块进行调整，以提高检测的准确性。

关键创新：最重要的技术创新点在于提出了一种无参数的温度缩放校正方法，能够有效改善小物体的检测性能。这一方法与现有的阈值调整策略有本质区别，后者无法消除根本偏差。

关键设计：在实验中，采用了特定的参数设置来评估尺度偏差和语义偏差的影响，并通过统计分析验证了温度缩放校正的有效性。损失函数和网络结构的设计均基于CLIP模型的预训练特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用温度缩放校正后，小物体的Recall@10提高了19.6%（p < 0.01），而对大物体的检测性能提升相对较小，表明该方法在处理不同尺度物体时的有效性。整体上，校正方法在保持检测精度的同时，显著改善了小物体的检测能力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能监控和机器人视觉等场景，能够提高开放词汇物体检测的准确性和可靠性。未来，这种校正方法可能会被广泛应用于各种视觉任务中，推动相关技术的发展。

📄 摘要（原文）

Foundation models such as CLIP have enabled open-vocabulary object detectors that generalise to novel categories via vision-language similarity. However, the confidence scores these detectors produce are not reliable localization probability estimates: they conflate visual scale and semantic query specificity with the true detection signal. Through controlled experiments on COCO across three foundation-model-based detectors (GroundingDINO, OWL-ViT, YOLO-World), with the scale-bias finding further replicated on LVIS (1,203 categories) using GroundingDINO, we show that s=cos(v,t) is a biased mixture of two effects. Scale bias (alpha = +0.064, r = 0.579, p = 1.29 x 10^-58) systematically inflates scores for large objects. Semantic bias (beta = -0.705, p = 5.23 x 10^-41) suppresses scores for generic queries. Both biases are structurally inevitable from CLIP's image-level pretraining. Threshold adjustment cannot remove them: oracle per-scale thresholding yields Delta F1 = +0.001 for small objects versus +0.102 for large. A parameter-free temperature scaling correction improves small-object Recall@10 by 19.6% (p < 0.01) without retraining. This comes at a modest, measurable cost to pooled-ranking precision, so the bias is partially, not freely, reversible at inference time. These findings reveal a fundamental limitation of adapting image-level foundation models to region-level detection tasks.