To Label or Not to Label: PALM -- A Predictive Model for Evaluating Sample Efficiency in Active Learning Models

📄 arXiv: 2507.15381v1 📥 PDF

作者: Julia Machnio, Mads Nielsen, Mostafa Mehdipour Ghazi

分类: cs.LG, cs.AI, cs.CV

发布日期: 2025-07-21

备注: ICCV 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出PALM模型，用于预测主动学习模型在不同标注预算下的样本效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 主动学习 样本效率 性能预测 模型评估 学习曲线

📋 核心要点

  1. 现有主动学习评估方法侧重于最终精度，忽略了学习过程的动态变化，难以全面评估算法性能。
  2. PALM模型通过四个关键参数（可达精度、覆盖效率、早期性能、可扩展性）刻画主动学习轨迹，实现性能预测。
  3. 实验表明，PALM在不同数据集和预算下均能有效预测学习曲线，揭示了学习效率、数据覆盖和可扩展性的关键信息。

📝 摘要（中文）

主动学习(AL)旨在通过选择最具信息量的样本进行标注来降低标注成本，这在资源受限的环境中尤其有价值。然而，传统的评估方法只关注最终准确率，无法捕捉学习过程的完整动态。为了解决这个问题，我们提出了PALM（主动学习模型性能分析），一个统一且可解释的数学模型，通过四个关键参数来描述AL轨迹：可达到的准确率、覆盖效率、早期性能和可扩展性。PALM从部分观察中提供AL行为的预测性描述，从而能够估计未来性能并促进不同策略之间的原则性比较。我们通过在CIFAR-10/100和ImageNet-50/100/200上进行的大量实验验证了PALM，涵盖了广泛的AL方法和自监督嵌入。我们的结果表明，PALM可以有效地推广到不同的数据集、预算和策略，并能从有限的标注数据中准确预测完整的学习曲线。重要的是，PALM揭示了关于学习效率、数据空间覆盖率和AL方法的可扩展性的关键见解。通过支持选择具有成本效益的策略并在严格的预算约束下预测性能，PALM为在研究和实际应用中对AL进行更系统、可重复和数据高效的评估奠定了基础。

🔬 方法详解

问题定义：主动学习旨在降低标注成本，但现有评估方法仅关注最终准确率，无法有效评估算法在不同标注预算下的性能，尤其是在数据量大、标注成本高的场景下，如何选择最具成本效益的策略成为难题。现有方法缺乏对学习过程动态的建模能力，难以预测算法在有限标注数据下的表现。

核心思路：PALM模型的核心思路是通过建模主动学习的学习轨迹，利用少量标注数据预测整个学习过程的性能。它将学习过程分解为四个关键参数：可达到的准确率、覆盖效率、早期性能和可扩展性，这些参数共同描述了算法在不同阶段的学习行为。通过拟合这些参数，PALM可以预测算法在不同标注预算下的性能表现，从而帮助选择最优策略。

技术框架：PALM模型的技术框架主要包括以下几个阶段：1) 使用少量标注数据训练主动学习模型；2) 提取学习轨迹的关键特征，例如准确率随标注样本数量的变化；3) 使用PALM模型拟合学习轨迹，估计四个关键参数；4) 基于估计的参数，预测算法在不同标注预算下的性能表现。PALM模型本身是一个数学模型，可以与各种主动学习算法和自监督嵌入方法结合使用。

关键创新：PALM的关键创新在于提出了一个统一且可解释的数学模型，能够从部分观察中预测主动学习的完整学习曲线。与现有方法相比，PALM不仅关注最终准确率，还考虑了学习效率、数据覆盖和可扩展性等因素。此外，PALM模型具有良好的泛化能力，可以应用于不同的数据集、预算和策略。

关键设计：PALM模型的核心是四个关键参数的设计：1) 可达到的准确率：表示算法在无限标注数据下的理论最优性能；2) 覆盖效率：表示算法在标注少量样本后能够覆盖数据空间的程度；3) 早期性能：表示算法在标注初期能够快速提升性能的能力；4) 可扩展性：表示算法随着标注数据增加，性能提升的潜力。这些参数的具体计算方法取决于具体的应用场景和主动学习算法。论文中提供了基于实验数据的参数拟合方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PALM模型在CIFAR-10/100和ImageNet-50/100/200等数据集上表现出色，能够从有限的标注数据中准确预测完整的学习曲线。PALM模型在不同数据集、预算和策略下均表现出良好的泛化能力，并且能够揭示关于学习效率、数据空间覆盖率和AL方法的可扩展性的关键见解。

🎯 应用场景

PALM模型可应用于各种需要主动学习的场景，例如图像识别、自然语言处理和医疗诊断等。它可以帮助研究人员和工程师选择最具成本效益的主动学习策略，并在资源受限的环境下优化模型性能。此外，PALM还可以用于评估不同主动学习算法的优劣，促进该领域的研究进展。

📄 摘要（原文）

Active learning (AL) seeks to reduce annotation costs by selecting the most informative samples for labeling, making it particularly valuable in resource-constrained settings. However, traditional evaluation methods, which focus solely on final accuracy, fail to capture the full dynamics of the learning process. To address this gap, we propose PALM (Performance Analysis of Active Learning Models), a unified and interpretable mathematical model that characterizes AL trajectories through four key parameters: achievable accuracy, coverage efficiency, early-stage performance, and scalability. PALM provides a predictive description of AL behavior from partial observations, enabling the estimation of future performance and facilitating principled comparisons across different strategies. We validate PALM through extensive experiments on CIFAR-10/100 and ImageNet-50/100/200, covering a wide range of AL methods and self-supervised embeddings. Our results demonstrate that PALM generalizes effectively across datasets, budgets, and strategies, accurately predicting full learning curves from limited labeled data. Importantly, PALM reveals crucial insights into learning efficiency, data space coverage, and the scalability of AL methods. By enabling the selection of cost-effective strategies and predicting performance under tight budget constraints, PALM lays the basis for more systematic, reproducible, and data-efficient evaluation of AL in both research and real-world applications. The code is available at: https://github.com/juliamachnio/PALM.