FocusOVD: Geometric and Contextual Feature Refinement for Open-Vocabulary Small-Object Detection
作者: Hanlin Kou, Beiqi Bai, Li Chen, Youjia Jing, Shupan Li, Mingyuan Jiu
分类: cs.CV
发布日期: 2026-10-20
备注: Accepted as a full paper at ChineseCSCW 2026
💡 一句话要点
提出FocusOVD以解决小物体开放词汇检测问题
🎯 匹配领域: 支柱三:空间感知与语义 (Perception & Semantics)
关键词: 开放词汇检测 小物体检测 特征融合 视觉-语言模型 深度学习 计算机视觉 机器人视觉
📋 核心要点
- 现有开放词汇物体检测方法在小物体检测中存在高分辨率细节保留不足和信息聚合不佳的问题。
- FocusOVD通过引入重加权跨尺度特征融合、残差风车形门控卷积和残差卷积门控线性单元等模块,提升小物体的表示能力。
- 在COCO-OVD上,FocusOVD的新类别AP达到36.3%,超越了CORA、UniDetector和SAMP等方法,显示出其强大的检测能力。
📝 摘要(中文)
开放词汇物体检测旨在通过利用视觉-语言模型的语义知识来检测已见和未见的类别。然而,现有方法在小物体检测中常常面临高分辨率细节保留不足、特征层级信息聚合效果不佳以及区域级辨别能力有限等挑战。为了解决这些问题,本文提出了FocusOVD,一个无需修改冻结的视觉-语言模型骨干的开放词汇物体检测器。FocusOVD引入了三个互补组件:重加权跨尺度特征融合模块、残差风车形门控卷积模块和残差卷积门控线性单元模块。大量实验表明,FocusOVD在COCO-OVD和LVIS-OVD数据集上表现出色,展示了其在开放词汇小物体检测中的强泛化能力。
🔬 方法详解
问题定义:本文旨在解决开放词汇小物体检测中的几个关键问题,包括高分辨率细节的不足保留、特征层级间信息聚合的低效以及区域级辨别能力的限制。现有方法在这些方面表现不佳,导致小物体的检测效果不理想。
核心思路:FocusOVD的核心思路是通过引入多个模块来增强小物体的特征表示,而不需要修改已有的视觉-语言模型骨干。通过优化特征融合和增强几何响应,FocusOVD能够更好地捕捉小物体的细节信息。
技术框架:FocusOVD的整体架构包括三个主要模块:重加权跨尺度特征融合模块用于平衡浅层和深层特征,残差风车形门控卷积模块用于增强高分辨率特征的局部几何响应,残差卷积门控线性单元模块则用于抑制背景干扰,提高RoI的辨别能力。
关键创新:FocusOVD的主要创新在于其特征融合和局部响应增强机制,特别是重加权跨尺度特征融合模块的设计,使得模型能够自适应地调整特征层级的权重,从而更有效地利用不同层次的信息。
关键设计:在设计中,重加权模块通过学习规范化的层级权重来实现特征的自适应融合,风车形门控卷积模块则通过残差连接增强了局部特征的响应,最后的门控线性单元模块则通过特定的激活函数来抑制背景主导的激活,确保了小物体的检测精度。
🖼️ 关键图片
📊 实验亮点
在COCO-OVD数据集上,FocusOVD的新类别AP达到36.3%,比CORA、UniDetector和SAMP分别提高了1.3%、1.1%和1.5%;在LVIS-OVD上,整体AP为33.7%,超越了最强竞争方法0.6%。这些结果表明FocusOVD在开放词汇小物体检测中的强泛化能力和有效性。
🎯 应用场景
FocusOVD的研究成果在多个领域具有潜在应用价值,包括自动驾驶、智能监控和机器人视觉等。其在小物体检测上的提升能够显著增强这些系统的环境感知能力,提升安全性和效率。未来,FocusOVD的技术可以进一步扩展到更复杂的场景和任务中,推动开放词汇检测技术的发展。
📄 摘要(原文)
Open-vocabulary object detection aims to detect both seen and unseen categories by leveraging the semantic knowledge of vision-language models. However, existing methods often struggle with small objects due to insufficient preservation of high-resolution details, ineffective information aggregation across feature levels, and limited region-level discriminability. To address these challenges, we propose FocusOVD, an open-vocabulary object detector that enhances small-object representations without modifying the frozen VLM backbone. FocusOVD introduces three complementary components: a Reweighted Cross-scale Feature Fusion module, which learns normalized level-wise weights to adaptively balance shallow appearance details and deep semantic cues during feature pyramid aggregation; a Residual Pinwheel-shaped Gated Convolution module, which strengthens local geometric responses in high-resolution features; and a Residual Convolutional Gated Linear Unit module, which suppresses background-dominated activations and enhances RoI discriminability before prediction. Extensive experiments on COCO-OVD and LVIS-OVD demonstrate the effectiveness of FocusOVD. On COCO-OVD, FocusOVD achieves a novel-category AP of 36.3%, outperforming CORA, UniDetector, and SAMP by 1.3%, 1.1%, and 1.5%, respectively; on LVIS-OVD, it achieves an overall AP of 33.7%, surpassing the strongest competing method by 0.6%. These results demonstrate the strong generalization ability of FocusOVD for open-vocabulary small-object detection.