Detector Confidence Signals Presence Rather Than Occlusion in Cluttered Manipulation
作者: Yuanzhi He
分类: cs.CV
发布日期: 2026-07-15
备注: 12 pages, 3 figure, 6 tables
💡 一句话要点
提出新方法以解决检测器在遮挡场景中的信号误读问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 开放词汇检测 物体遮挡 信号误读 几何分割 主动感知 机器人抓取 智能监控
📋 核心要点
- 现有的开放词汇检测器在物体遮挡情况下的信号表现不佳，信心度量未能准确反映物体的可见性。
- 论文提出通过几何分割真值对检测器信心进行审计，揭示信心信号与真实可见性之间的关系。
- 实验结果显示，检测器在遮挡情况下仍能高达99%的信心报告目标存在，且信心与可见性无关，强调了信心度量的局限性。
📝 摘要（中文）
本研究探讨了开放词汇检测器在物体遮挡情况下的信号表现。研究发现，当物体被遮挡至仅剩八分之一可见时，检测器的信心几乎不变，甚至在周围杂物增多时信心可能上升。通过与几何分割真值进行配对，发现检测器的信心与真实可见性无关，且在约九成场景中仍报告目标存在。这一现象表明，检测器信心并不反映特定目标的可见性，而是指示某一类别的存在。研究结果揭示了信心度量在遮挡问题上的不足，并提出了基于目标的信号作为改进建议。
🔬 方法详解
问题定义：本研究旨在解决开放词汇检测器在物体遮挡情况下信号误读的问题。现有方法在物体被遮挡时，检测器的信心信号未能准确反映物体的真实可见性，导致误判。
核心思路：论文通过与几何分割真值进行配对，审计检测器的信心信号，揭示其与真实可见性之间的关系，进而提出基于目标的信号作为改进方案。
技术框架：整体架构包括数据采集、信心信号评估和几何分割真值对比三个主要模块。首先收集遮挡场景的视频数据，然后计算检测器的信心信号，最后与几何分割真值进行对比分析。
关键创新：最重要的技术创新在于揭示了检测器信心信号与真实可见性之间的无关性，强调信心信号仅表示类别存在而非特定目标的可见性。这一发现与现有方法的本质区别在于对信号的解读。
关键设计：在实验中，使用了多个检测器（如Grounding DINO、OWLv2和Segment Anything Model 3），并对不同场景和遮挡情况进行了测试。关键参数设置包括信心阈值和遮挡程度的定义，损失函数设计旨在优化信号的准确性。实验还考虑了不同的渲染器和物体集合。
🖼️ 关键图片
📊 实验亮点
实验结果显示，检测器在遮挡情况下仍能以99%的信心报告目标存在，且信心与可见性无关。通过对比分析，发现信心度量在遮挡问题上的不足，强调了在主动感知设置中，信心度量低估了解决遮挡的价值，提出了基于目标的信号作为改进方向。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、自动驾驶和智能监控等场景。在这些应用中，准确识别物体的可见性对于决策制定至关重要。未来，该研究可能推动更智能的感知系统发展，提升物体识别和交互的准确性。
📄 摘要（原文）
Occlude a named object until about an eighth of it remains visible, and an open-vocabulary detector's confidence that the object is present barely changes; as the clutter around it grows the confidence can even rise. On real video the detector still reports the object present in 99% of occluded frames, on another instance of the same category. This matters because that confidence is widely read as a visibility signal, used to threshold detections, evaluate open-vocabulary detectors, ground language, retrieve instances, and gate active perception. We audit whether it reflects occlusion by pairing every view with a geometry-segmentation oracle that gives detector-free ground-truth visibility. As true visibility falls from every scene to one in eight, the confidence stays nearly constant and uncorrelated with visibility, and the detector reports the target present in about nine of ten scenes, firing on same-category distractors: it signals that the category is present somewhere, not that the specific target is visible. The failure holds across three detectors (Grounding DINO, OWLv2, and Segment Anything Model 3), nine object categories, two simulators with different renderers and object sets, built and natural occlusion, and real video. Two consequences follow: a confidence-based metric understates the value of resolving occlusion by about ten times (8 against 88 points in our active-perception setting), and a confidence-based gate fires exactly when the object is hidden. No single-view signal we tried, including a realizable localization check, flags the occlusion, because the occluders sit where the target is. We connect the effect to detector miscalibration and object hallucination, release the controlled benchmark, and recommend target-grounded signals for gating and evaluation.