Aligning Data Selection with Performance: Performance-driven Reinforcement Learning for Active Learning in Object Detection

📄 arXiv: 2310.08387v3 📥 PDF

作者: Zhixuan Liang, Xingyu Zeng, Rui Zhao, Ping Luo

分类: cs.CV, cs.LG

发布日期: 2023-10-12 (更新: 2025-05-06)

💡 一句话要点

提出MGRAL以解决目标检测中的主动学习数据选择问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 主动学习 目标检测 强化学习 均值平均精度 深度学习 样本选择 计算机视觉

📋 核心要点

  1. 现有主动学习方法在评估数据的信息量时，未能与目标检测任务的性能指标（如mAP）直接对齐，导致选择的样本未必最优。
  2. 本文提出MGRAL，通过强化学习优化样本选择策略，利用期望模型输出变化作为信息量，直接以mAP提升作为奖励信号。
  3. 在PASCAL VOC和MS COCO基准上，MGRAL展示了显著的性能提升，建立了新的基于强化学习的主动学习范式。

📝 摘要（中文）

主动学习策略旨在通过选择最具信息量的实例以最小化标注数据来训练高性能模型。然而，现有评估数据信息量的方法往往与任务模型性能指标（如目标检测中的mAP）不直接对齐。本文提出了基于均值平均精度引导的强化主动学习方法（MGRAL），利用期望模型输出变化作为深度检测网络的信息量，直接优化采样策略以提高mAP。MGRAL采用基于LSTM架构的强化学习代理，旨在高效应对批量样本选择的组合挑战及性能与所选批次之间的非可微性质。代理使用策略梯度优化选择，以mAP提升作为奖励信号。为应对未标注样本mAP估计的计算强度，我们实现了快速查找表，确保了实际应用的可行性。我们在PASCAL VOC和MS COCO基准上评估了MGRAL，展示了其强大的性能，建立了基于强化学习的目标检测主动学习的新范式。

🔬 方法详解

问题定义：本文解决的是在目标检测中，现有主动学习方法在样本选择时未能有效对齐模型性能指标的问题，导致选择的样本可能不具备最佳的信息量。

核心思路：MGRAL通过引入均值平均精度（mAP）作为优化目标，利用强化学习代理来选择最具信息量的样本，从而提升模型的整体性能。

技术框架：MGRAL的整体架构包括数据选择模块、强化学习代理和mAP估计模块。代理基于LSTM架构，负责在样本选择过程中进行策略优化。

关键创新：MGRAL的核心创新在于将mAP提升作为奖励信号，直接优化样本选择策略，解决了传统方法中性能与选择样本之间的非可微问题。

关键设计：在技术细节上，MGRAL使用策略梯度方法进行优化，并实现了快速查找表以降低未标注样本mAP估计的计算强度，确保了方法的实际可行性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在PASCAL VOC和MS COCO基准上，MGRAL相较于传统方法在mAP上实现了显著提升，具体性能数据表明，MGRAL在多个主干网络架构下均表现出色，展示了其在目标检测中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能监控和机器人视觉等场景，能够在标注成本高昂的情况下，提升目标检测模型的训练效率和性能。未来，MGRAL有望在更多计算机视觉任务中推广应用，推动主动学习技术的发展。

📄 摘要（原文）

Active learning strategies aim to train high-performance models with minimal labeled data by selecting the most informative instances for labeling. However, existing methods for assessing data informativeness often fail to align directly with task model performance metrics, such as mean average precision (mAP) in object detection. This paper introduces Mean-AP Guided Reinforced Active Learning for Object Detection (MGRAL), a novel approach that leverages the concept of expected model output changes as informativeness for deep detection networks, directly optimizing the sampling strategy using mAP. MGRAL employs a reinforcement learning agent based on LSTM architecture to efficiently navigate the combinatorial challenge of batch sample selection and the non-differentiable nature between performance and selected batches. The agent optimizes selection using policy gradient with mAP improvement as the reward signal. To address the computational intensity of mAP estimation with unlabeled samples, we implement fast look-up tables, ensuring real-world feasibility. We evaluate MGRAL on PASCAL VOC and MS COCO benchmarks across various backbone architectures. Our approach demonstrates strong performance, establishing a new paradigm in reinforcement learning-based active learning for object detection.