BoSS: A Best-of-Strategies Selector as an Oracle for Deep Active Learning

📄 arXiv: 2603.13109v1 📥 PDF

作者: Denis Huseljic, Paul Hahn, Marek Herde, Christoph Sandrock, Bernhard Sick

分类: cs.LG, cs.AI

发布日期: 2026-03-13

💡 一句话要点

提出BoSS：一种最佳策略选择器，作为深度主动学习的Oracle，提升大规模数据集上的性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 主动学习 深度学习 Oracle策略 集成学习 样本选择 大规模数据集

📋 核心要点

  1. 现有主动学习策略在不同模型、标注预算和数据集上鲁棒性不足，尤其是在大规模数据集上。
  2. BoSS通过集成多种选择策略，并选择性能增益最大的批次，构建可扩展的oracle策略。
  3. 实验表明，BoSS优于现有oracle策略，并揭示了现有AL策略与oracle性能之间的差距。

📝 摘要（中文）

主动学习(AL)旨在通过迭代选择有价值的实例，在最大化模型性能的同时降低标注成本。虽然基础模型使得识别这些实例变得更容易，但现有的选择策略在不同的模型、标注预算和数据集上仍然缺乏鲁棒性。为了突出现有AL策略的潜在弱点，并为研究提供参考点，我们探索了oracle策略，即通过访问实际AL场景中不可用的ground-truth信息来近似最优选择的策略。然而，当前的oracle策略无法有效地扩展到大型数据集和复杂的深度神经网络。为了解决这些限制，我们引入了最佳策略选择器(BoSS)，这是一种为大规模AL场景设计的可扩展oracle策略。BoSS通过选择策略的集成来构建一组候选批次，然后选择产生最高性能增益的批次。作为一个选择策略的集成，BoSS可以很容易地扩展新的最先进的策略，随着它们的出现，确保它在未来仍然是一个可靠的oracle策略。我们的评估表明，i) BoSS优于现有的oracle策略，ii) 最先进的AL策略仍然明显低于oracle性能，特别是在具有许多类的大规模数据集中，以及iii) 解决AL策略不一致性能的一个可能方案可能是采用基于集成的选择方法。

🔬 方法详解

问题定义：论文旨在解决大规模数据集上深度主动学习中，现有主动学习策略鲁棒性不足的问题。现有方法在面对不同模型、标注预算和数据集时，性能波动较大，难以达到最优选择，尤其是在类别数量较多的大规模数据集上。

核心思路：论文的核心思路是构建一个“最佳策略选择器”（BoSS），作为一个oracle策略，通过集成多种现有的主动学习选择策略，并选择其中性能提升最大的策略结果。这样做的目的是利用不同策略的优势，弥补单一策略的不足，从而更接近理论上的最优选择。

技术框架：BoSS的整体框架包含以下几个主要步骤：1. 使用多种现有的主动学习选择策略，分别生成候选的标注批次。2. 对每个候选批次进行评估，评估指标是模型在验证集上的性能提升。3. 选择性能提升最大的批次作为最终的标注批次。这个过程可以迭代进行，每次选择一批最有价值的样本进行标注，并更新模型。

关键创新：BoSS的关键创新在于其集成多种选择策略的思想，并将其应用于oracle策略的构建。与以往单一的oracle策略不同，BoSS能够根据数据集和模型的特点，自适应地选择最合适的策略组合，从而提高选择的准确性和鲁棒性。此外，BoSS的可扩展性也很强，可以方便地集成新的主动学习选择策略。

关键设计：BoSS的关键设计包括：1. 选择策略的种类：论文中使用了多种常用的主动学习选择策略，例如不确定性采样、代表性采样等。2. 性能评估指标：论文使用模型在验证集上的性能提升作为评估指标，可以根据具体任务选择合适的指标。3. 集成方式：论文采用简单的选择性能最佳批次的方式进行集成，也可以考虑使用更复杂的集成方法，例如加权平均等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BoSS在多个数据集上优于现有的oracle策略，并且能够显著缩小现有主动学习策略与oracle性能之间的差距。特别是在大规模数据集和多类别分类任务上，BoSS的优势更加明显。实验还验证了集成多种选择策略的有效性，为未来主动学习策略的设计提供了新的方向。

🎯 应用场景

BoSS可应用于各种需要降低标注成本的深度学习任务，例如图像分类、目标检测、自然语言处理等。尤其适用于大规模数据集和复杂模型的场景，可以显著减少人工标注的工作量，提高模型训练的效率。该研究为主动学习策略的设计和评估提供了一个新的思路，并有望推动主动学习技术在实际应用中的普及。

📄 摘要（原文）

Active learning (AL) aims to reduce annotation costs while maximizing model performance by iteratively selecting valuable instances. While foundation models have made it easier to identify these instances, existing selection strategies still lack robustness across different models, annotation budgets, and datasets. To highlight the potential weaknesses of existing AL strategies and provide a reference point for research, we explore oracle strategies, i.e., strategies that approximate the optimal selection by accessing ground-truth information unavailable in practical AL scenarios. Current oracle strategies, however, fail to scale effectively to large datasets and complex deep neural networks. To tackle these limitations, we introduce the Best-of-Strategy Selector (BoSS), a scalable oracle strategy designed for large-scale AL scenarios. BoSS constructs a set of candidate batches through an ensemble of selection strategies and then selects the batch yielding the highest performance gain. As an ensemble of selection strategies, BoSS can be easily extended with new state-of-the-art strategies as they emerge, ensuring it remains a reliable oracle strategy in the future. Our evaluation demonstrates that i) BoSS outperforms existing oracle strategies, ii) state-of-the-art AL strategies still fall noticeably short of oracle performance, especially in large-scale datasets with many classes, and iii) one possible solution to counteract the inconsistent performance of AL strategies might be to employ an ensemble-based approach for the selection.