YOLO-RD: Introducing Relevant and Compact Explicit Knowledge to YOLO by Retriever-Dictionary

📄 arXiv: 2410.15346v2 📥 PDF

作者: Hao-Tang Tsui, Chien-Yao Wang, Hong-Yuan Mark Liao

分类: cs.CV, cs.AI

发布日期: 2024-10-20 (更新: 2025-02-08)

🔗 代码/项目: GITHUB

💡 一句话要点

YOLO-RD：通过检索器-字典模块为YOLO引入相关且紧凑的显式知识，提升目标检测性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 目标检测 显式知识 检索器-字典 YOLO 知识融合

📋 核心要点

  1. 现有目标检测模型过度强调当前输入，忽略了整个数据集的潜在信息，限制了模型的泛化能力。
  2. 提出检索器-字典（RD）模块，通过检索包含数据集知识的字典来增强模型对全局信息的利用。
  3. 实验表明，RD模块能显著提升YOLO等模型的检测精度，且参数增加较少，同时适用于两阶段和DETR架构。

📝 摘要（中文）

本文提出了一种新颖的检索器-字典（RD）模块，旨在解决现有目标检测模型过度依赖当前输入而忽略全局数据集信息的局限性。该模块使基于YOLO的模型能够有效地从包含数据集洞察的字典中检索特征，该字典由视觉模型（VM）、大型语言模型（LLM）或视觉语言模型（VLM）的知识构建。RD模块具有灵活性，能够整合显式知识，从而增强模型在分割、检测和分类等多项任务中的能力，覆盖像素级到图像级。实验结果表明，使用RD模块显著提高了模型性能，在目标检测的平均精度均值（mAP）上提升超过3%，而模型参数的增加不到1%。此外，RD模块还提升了Faster R-CNN和Deformable DETR等两阶段模型和基于DETR的架构的有效性。

🔬 方法详解

问题定义：现有目标检测模型，如YOLO，主要依赖于当前输入图像的信息进行预测，忽略了数据集中其他图像所包含的丰富知识。这种局限性导致模型在处理复杂场景或罕见目标时表现不佳。因此，需要一种方法能够有效地利用整个数据集的知识来提升模型的性能。

核心思路：本文的核心思路是引入一个“检索器-字典”（Retriever-Dictionary，RD）模块，允许模型在预测时检索并利用数据集中相关的信息。字典存储了从数据集提取的知识，检索器负责根据当前输入找到最相关的知识片段。通过将这些知识融入到模型的特征表示中，可以增强模型对目标的理解和识别能力。

技术框架：RD模块可以插入到YOLO等目标检测模型的不同层级。其主要流程如下：1) 使用视觉模型（VM）、大型语言模型（LLM）或视觉语言模型（VLM）从数据集中提取特征，构建知识字典。2) 当模型接收到输入图像时，检索器根据输入图像的特征在字典中检索最相关的特征向量。3) 将检索到的特征向量与输入图像的特征进行融合，增强模型的特征表示。4) 融合后的特征被用于后续的目标检测任务。

关键创新：RD模块的关键创新在于它提供了一种有效的方式，将显式知识（从数据集中提取的知识）融入到目标检测模型中。与传统的隐式学习方法不同，RD模块允许模型直接访问和利用数据集的全局信息，从而提升模型的泛化能力和鲁棒性。此外，RD模块的设计具有灵活性，可以与不同的知识来源（VM、LLM、VLM）和不同的模型架构（YOLO、Faster R-CNN、DETR）相结合。

关键设计：字典的构建方式至关重要，需要选择合适的特征提取器（VM、LLM、VLM）来捕获数据集的关键信息。检索器的设计需要考虑检索效率和准确性，可以使用近似最近邻搜索等技术来加速检索过程。特征融合的方式也需要仔细设计，可以使用注意力机制等方法来动态地调整检索到的特征的权重。损失函数方面，可以使用标准的交叉熵损失或Focal Loss等，并可以根据具体任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用RD模块后，YOLO模型的平均精度均值（mAP）提升超过3%，而模型参数的增加不到1%。此外，RD模块还成功应用于Faster R-CNN和Deformable DETR等模型，证明了其通用性和有效性。这些结果表明，引入显式知识能够显著提升目标检测模型的性能。

🎯 应用场景

该研究成果可广泛应用于智能监控、自动驾驶、机器人导航等领域。通过引入显式知识，可以提升目标检测系统在复杂环境下的识别精度和鲁棒性，例如在光照不足、遮挡严重或目标罕见的情况下。未来，可以将RD模块与更先进的知识表示和检索技术相结合，进一步提升目标检测系统的性能。

📄 摘要（原文）

Identifying and localizing objects within images is a fundamental challenge, and numerous efforts have been made to enhance model accuracy by experimenting with diverse architectures and refining training strategies. Nevertheless, a prevalent limitation in existing models is overemphasizing the current input while ignoring the information from the entire dataset. We introduce an innovative Retriever-Dictionary (RD) module to address this issue. This architecture enables YOLO-based models to efficiently retrieve features from a Dictionary that contains the insight of the dataset, which is built by the knowledge from Visual Models (VM), Large Language Models (LLM), or Visual Language Models (VLM). The flexible RD enables the model to incorporate such explicit knowledge that enhances the ability to benefit multiple tasks, specifically, segmentation, detection, and classification, from pixel to image level. The experiments show that using the RD significantly improves model performance, achieving more than a 3\% increase in mean Average Precision for object detection with less than a 1% increase in model parameters. Beyond 1-stage object detection models, the RD module improves the effectiveness of 2-stage models and DETR-based architectures, such as Faster R-CNN and Deformable DETR. Code is released at https://github.com/henrytsui000/YOLO.