Decoupled Prototype Matching with Vision Foundation Models for Few-Shot Industrial Object Detection

📄 arXiv: 2604.26404v1 📥 PDF

作者: Hari Prasanth S. M., Nilusha Jayawickrama, Risto Ojala

分类: cs.CV

发布日期: 2026-04-29

备注: This article is submitted to Journal of Intelligent Manufacturing, and is currently in under review

💡 一句话要点

利用视觉基础模型和解耦原型匹配，解决小样本工业物体检测问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小样本学习 物体检测 视觉基础模型 原型匹配 工业应用

📋 核心要点

  1. 工业物体检测依赖大量标注数据，但工业场景中物体种类变化快，数据收集和维护成本高昂。
  2. 该方法利用视觉基础模型，通过少量样本构建类别原型，并使用相似性匹配进行物体检测。
  3. 实验结果表明，该方法在小样本工业物体检测中表现出色，AP值较现有方法提升显著。

📝 摘要（中文）

本文提出了一种针对工业场景下小样本物体检测的框架，该场景中新物体的引入频繁，且标注数据难以获取。该方法利用视觉基础模型，仅需少量参考样本即可识别物体。通过提取特征表示，从参考样本中构建类别原型。在推理阶段，利用分割模型生成候选物体区域，提取其特征嵌入，并通过相似性匹配将其与类别原型进行匹配。在三个工业数据集上，按照官方2D物体检测评估协议进行评估，结果表明该方法具有竞争力的检测性能，AP值比最先进的免训练检测方法提高了6.9%。该方法仅使用少量参考图像即可识别新物体，无需CAD模型或大型标注数据集，使其非常适合实际工业应用。

🔬 方法详解

问题定义：论文旨在解决工业场景下小样本物体检测问题。现有方法依赖大量标注数据，但在工业环境中，新物体不断出现，标注成本高昂，且难以快速适应。因此，如何在只有少量标注样本的情况下，准确检测出工业物体是一个关键挑战。

核心思路：论文的核心思路是利用视觉基础模型强大的特征提取能力，从少量参考样本中学习到物体的类别原型，然后通过相似性匹配的方式，将待检测区域的特征与类别原型进行比较，从而判断该区域是否包含目标物体。这种方法避免了对大量标注数据的依赖，能够快速适应新的物体类别。

技术框架：该方法主要包含以下几个阶段：1) 原型构建：对于每个类别，利用少量参考图像，通过视觉基础模型提取特征，并构建该类别的原型表示。2) 区域生成：对于待检测图像，利用分割模型生成候选物体区域。3) 特征提取：对于每个候选区域，利用视觉基础模型提取特征嵌入。4) 相似性匹配：计算候选区域的特征嵌入与各个类别原型之间的相似度，并根据相似度进行物体检测。

关键创新：该方法最重要的创新点在于将视觉基础模型与原型匹配相结合，实现了一种免训练或少样本的物体检测方法。与传统的基于深度学习的物体检测方法相比，该方法不需要对大量数据进行训练，能够快速适应新的物体类别。此外，该方法采用解耦的方式进行原型匹配，提高了匹配的准确性和鲁棒性。

关键设计：论文中，视觉基础模型用于提取图像和候选区域的特征表示。相似性度量函数用于计算候选区域特征与类别原型之间的相似度。具体的参数设置和网络结构细节在论文中有详细描述，例如，使用了特定的视觉基础模型架构，并对相似性度量函数进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在三个工业数据集上进行了评估，并与现有的免训练检测方法进行了比较。实验结果表明，该方法在小样本物体检测任务中取得了显著的性能提升，AP值比最先进的免训练检测方法提高了6.9%。这表明该方法能够有效地利用视觉基础模型和原型匹配，实现准确的物体检测。

🎯 应用场景

该研究成果可广泛应用于工业自动化、智能制造等领域。例如，在产品质量检测中，可以快速部署新的检测任务，无需重新训练模型。在机器人分拣中，可以识别新的零件，提高分拣效率。此外，该方法还可以应用于安防监控、智能交通等领域，具有重要的实际应用价值和广阔的发展前景。

📄 摘要（原文）

Industrial object detection systems typically rely on large annotated datasets, which are expensive to collect and challenging to maintain in industrial scenarios where the inventory of objects changes frequently. This work addresses the challenge of few-shot object detection in such industrial scenarios, where only a limited number of labeled samples are available for newly introduced objects. We present a detection framework that leverages vision foundation models to recognize objects with minimal supervision. The method constructs class prototypes from a small set of reference samples by extracting feature representations. For a given query scene during inference, object regions are generated using a segmentation model, and feature embeddings are extracted and matched with class prototypes using similarity matching. We evaluate the detection method on three established industrial datasets from the Benchmark for 6D Object Pose Estimation benchmark following the official 2D object detection evaluation protocol. We demonstrate competitive detection performance, improving AP by 6.9% compared to the state-of-the-art training-free detection methods. Furthermore, the presented method is able to onboard new objects using only a few reference images, without requiring any CAD models or large annotated datasets. These properties make the approach well-suited for real-world industrial applications.