Generalized Semantic Contrastive Learning via Embedding Side Information for Few-Shot Object Detection

📄 arXiv: 2504.07060v1 📥 PDF

作者: Ruoyu Chen, Hua Zhang, Jingzhi Li, Li Liu, Zhen Huang, Xiaochun Cao

分类: cs.CV

发布日期: 2025-04-09

备注: Accepted by T-PAMI (IEEE Transactions on Pattern Analysis and Machine Intelligence)

DOI: 10.1109/TPAMI.2025.3560033

💡 一句话要点

提出基于嵌入边信息的广义语义对比学习，用于小样本目标检测

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 小样本目标检测 边信息 对比学习 知识图谱 特征表示学习

📋 核心要点

  1. 小样本目标检测面临新类别样本不足的问题，导致特征空间泛化能力差，易受基础类别影响。
  2. 论文提出利用嵌入边信息的广义语义对比学习，通过知识矩阵和对比学习增强类别区分性。
  3. 实验结果表明，该方法在多个数据集上显著优于现有方法，提升了小样本目标检测的性能。

📝 摘要（中文）

小样本目标检测(FSOD)的目标是用少量的训练样本检测新的目标。这项任务的核心挑战是如何在基础类别空间的基础上，为新的类别构建一个广义的特征空间，使学习到的检测模型能够适应未知的场景。然而，由于新类别样本不足，仍然存在两个问题：(1)新类别的特征容易被基础类别的特征隐式表示，导致分类器边界不可分；(2)数据较少的新类别不足以完全表示分布，模型微调容易过拟合。为了解决这些问题，我们引入了边信息，以减轻来自特征空间和样本视点的负面影响，并为FSOD提出了一种新的广义特征表示学习方法。具体来说，我们首先利用嵌入边信息构建一个知识矩阵，以量化基础类别和新类别之间的语义关系。然后，为了加强语义相似类别之间的区分，我们进一步开发了嵌入边信息的上下文语义监督对比学习。此外，为了防止稀疏样本引起的过拟合问题，引入了一个边信息引导的区域感知掩码模块，通过反事实解释来寻找和放弃区分相似类别的有偏信息，从而增强样本的多样性，并进一步细化判别表示空间。在PASCAL VOC、MS COCO、LVIS V1、FSOD-1K和FSVOD-500基准上使用ResNet和ViT骨干网络的大量实验表明，我们的模型优于以往最先进的方法，显著提高了FSOD在大多数shots/splits中的能力。

🔬 方法详解

问题定义：小样本目标检测旨在利用少量样本检测新类别物体。现有方法在新类别样本不足的情况下，容易将新类别特征与基础类别混淆，导致分类器边界模糊，且模型容易在新类别上过拟合，泛化能力差。

核心思路：论文的核心思路是引入边信息，即类别之间的语义关系，来指导特征表示学习。通过构建知识矩阵量化类别间的语义相似度，并利用对比学习增强语义相似类别之间的区分性，同时使用掩码模块增加样本多样性，防止过拟合。

技术框架：整体框架包含以下几个主要模块：1) 嵌入边信息模块：构建知识矩阵，量化基础类别和新类别之间的语义关系。2) 上下文语义监督对比学习模块：利用边信息，通过对比学习增强语义相似类别之间的区分性。3) 边信息引导的区域感知掩码模块：通过反事实解释，寻找并去除区分相似类别的有偏信息，增加样本多样性。

关键创新：论文的关键创新在于将边信息引入到小样本目标检测的特征表示学习中。通过知识矩阵和对比学习，模型能够更好地学习类别之间的语义关系，从而提高新类别的检测性能。此外，掩码模块的设计也有效地缓解了过拟合问题。

关键设计：知识矩阵的构建方式（例如使用WordNet或其他知识图谱），对比学习的损失函数设计（例如InfoNCE loss），掩码模块的具体实现（例如使用梯度反向传播寻找有偏区域），以及超参数的选择（例如对比学习的温度系数）等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在PASCAL VOC、MS COCO、LVIS V1、FSOD-1K和FSVOD-500等多个数据集上均取得了显著的性能提升，超越了现有的state-of-the-art方法。例如，在某些数据集上，该方法在低shots设置下，AP指标提升了5%以上，证明了其在小样本目标检测任务中的有效性。

🎯 应用场景

该研究成果可应用于智能监控、自动驾驶、机器人视觉等领域，尤其是在需要快速适应新物体的场景下，例如在安防领域快速识别新型犯罪工具，或在工业质检中快速识别新的缺陷类型。该方法能够有效提升模型在数据稀缺情况下的泛化能力，具有重要的实际应用价值。

📄 摘要（原文）

The objective of few-shot object detection (FSOD) is to detect novel objects with few training samples. The core challenge of this task is how to construct a generalized feature space for novel categories with limited data on the basis of the base category space, which could adapt the learned detection model to unknown scenarios. However, limited by insufficient samples for novel categories, two issues still exist: (1) the features of the novel category are easily implicitly represented by the features of the base category, leading to inseparable classifier boundaries, (2) novel categories with fewer data are not enough to fully represent the distribution, where the model fine-tuning is prone to overfitting. To address these issues, we introduce the side information to alleviate the negative influences derived from the feature space and sample viewpoints and formulate a novel generalized feature representation learning method for FSOD. Specifically, we first utilize embedding side information to construct a knowledge matrix to quantify the semantic relationship between the base and novel categories. Then, to strengthen the discrimination between semantically similar categories, we further develop contextual semantic supervised contrastive learning which embeds side information. Furthermore, to prevent overfitting problems caused by sparse samples, a side-information guided region-aware masked module is introduced to augment the diversity of samples, which finds and abandons biased information that discriminates between similar categories via counterfactual explanation, and refines the discriminative representation space further. Extensive experiments using ResNet and ViT backbones on PASCAL VOC, MS COCO, LVIS V1, FSOD-1K, and FSVOD-500 benchmarks demonstrate that our model outperforms the previous state-of-the-art methods, significantly improving the ability of FSOD in most shots/splits.