Parameter-Efficient Semantic Augmentation for Enhancing Open-Vocabulary Object Detection

📄 arXiv: 2604.04444 📥 PDF

作者: Weihao Cao, Runqi Wang, Xiaoyue Duan, Jinchao Zhang, Ang Yang, Liping Jing

分类: cs.CV

发布日期: 2026-04-07

💡 一句话要点

提出HSA-DINO，通过参数高效的语义增强提升开放词汇目标检测在领域迁移中的性能。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇目标检测 领域自适应 语义增强 多尺度特征 提示学习

📋 核心要点

  1. 现有开放词汇目标检测模型在领域迁移时性能显著下降，主要原因是领域特定数据集中类别标签的稀疏性和语义信息不足。
  2. HSA-DINO通过多尺度提示库捕获分层语义，并利用语义感知路由器动态选择增强策略，从而提升模型的泛化能力。
  3. 实验结果表明，HSA-DINO在多个数据集上优于现有方法，实现了领域适应性和开放词汇泛化之间的良好平衡。

📝 摘要（中文）

开放词汇目标检测(OVOD)使模型能够检测任何对象类别，包括未见过的类别。受益于大规模预训练，现有的OVOD方法在通用场景(如OV-COCO)上取得了强大的检测性能，但当迁移到具有显著领域转移的下游任务时，性能会严重下降。这种退化源于特定领域任务中类别标签的稀缺性和弱语义，以及现有模型无法捕获粗粒度类别标签之外的辅助语义。为了解决这些问题，我们提出了一种参数高效的语义增强框架HSA-DINO，用于增强开放词汇目标检测。具体来说，我们提出了一个多尺度提示库，利用图像特征金字塔来捕获分层语义，并选择特定领域的局部语义提示，逐步丰富从粗到细粒度的文本表示。此外，我们引入了一个语义感知路由器，在推理过程中动态选择适当的语义增强策略，从而防止参数更新降低预训练OVOD模型的泛化能力。我们在OV-COCO、多个垂直领域数据集和修改后的基准设置上评估了HSA-DINO。结果表明，HSA-DINO的表现优于以往的最先进方法，在领域适应性和开放词汇泛化之间取得了卓越的平衡。

🔬 方法详解

问题定义：论文旨在解决开放词汇目标检测（OVOD）模型在领域迁移时性能下降的问题。现有方法在通用数据集上表现良好，但在特定领域数据集上由于类别标签的稀疏性和语义信息不足，导致模型泛化能力不足。现有方法难以有效利用图像中的辅助语义信息来提升检测性能。

核心思路：论文的核心思路是通过参数高效的语义增强来提升OVOD模型在领域迁移时的性能。具体来说，利用图像特征金字塔提取多尺度语义信息，并结合领域特定的局部语义提示，逐步丰富文本表示。同时，引入语义感知路由器动态选择合适的语义增强策略，避免参数更新对模型泛化能力产生负面影响。

技术框架：HSA-DINO框架主要包含两个核心模块：多尺度提示库和语义感知路由器。多尺度提示库利用图像特征金字塔提取不同尺度的语义信息，并选择领域相关的局部语义提示。语义感知路由器则根据输入图像的特征，动态选择合适的语义增强策略。整个流程是在预训练的OVOD模型基础上进行的，通过参数高效的方式进行领域适应。

关键创新：论文的关键创新在于提出了多尺度提示库和语义感知路由器，实现了参数高效的语义增强。多尺度提示库能够捕获图像中不同尺度的语义信息，并结合领域特定的局部语义提示，从而更有效地丰富文本表示。语义感知路由器则能够根据输入图像的特征，动态选择合适的语义增强策略，避免了手动选择或固定策略的局限性。

关键设计：多尺度提示库的设计利用了图像特征金字塔的不同层级，以捕获不同粒度的语义信息。语义感知路由器的设计则基于注意力机制，根据输入图像的特征，动态计算不同语义增强策略的权重。损失函数方面，采用了标准的对比学习损失，以鼓励模型学习到更鲁棒的语义表示。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HSA-DINO在OV-COCO以及多个垂直领域数据集上进行了评估，实验结果表明，HSA-DINO在领域适应性和开放词汇泛化之间取得了良好的平衡。相较于现有方法，HSA-DINO在多个数据集上取得了显著的性能提升，证明了其有效性和优越性。具体的性能数据和对比基线在论文中有详细展示。

🎯 应用场景

该研究成果可应用于各种需要开放词汇目标检测的领域，例如自动驾驶、智能安防、医疗影像分析等。通过提升模型在领域迁移时的性能，可以减少对大量标注数据的依赖，降低模型部署成本，并提高检测系统的鲁棒性和泛化能力。未来可进一步探索如何利用更丰富的外部知识来增强模型的语义理解能力。

📄 摘要（原文）

Open-vocabulary object detection (OVOD) enables models to detect any object category, including unseen ones. Benefiting from large-scale pre-training, existing OVOD methods achieve strong detection performance on general scenarios (e.g., OV-COCO) but suffer severe performance drops when transferred to downstream tasks with substantial domain shifts. This degradation stems from the scarcity and weak semantics of category labels in domain-specific task, as well as the inability of existing models to capture auxiliary semantics beyond coarse-grained category label. To address these issues, we propose HSA-DINO, a parameter-efficient semantic augmentation framework for enhancing open-vocabulary object detection. Specifically, we propose a multi-scale prompt bank that leverages image feature pyramids to capture hierarchical semantics and select domain-specific local semantic prompts, progressively enriching textual representations from coarse to fine-grained levels. Furthermore, we introduce a semantic-aware router that dynamically selects the appropriate semantic augmentation strategy during inference, thereby preventing parameter updates from degrading the generalization ability of the pre-trained OVOD model. We evaluate HSA-DINO on OV-COCO, several vertical domain datasets, and modified benchmark settings. The results show that HSA-DINO performs favorably against previous state-of-the-art methods, achieving a superior trade-off between domain adaptability and open-vocabulary generalization.