OCCAM: Towards Cost-Efficient and Accuracy-Aware Classification Inference

📄 arXiv: 2406.04508v2 📥 PDF

作者: Dujian Ding, Bicheng Xu, Laks V. S. Lakshmanan

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-06-06 (更新: 2025-02-25)

备注: ICLR 2025 (main conference)

💡 一句话要点

OCCAM：面向成本效益和精度感知的分类推理模型选择方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型选择 分类推理 成本效益 精度感知 整数线性规划

📋 核心要点

  1. 现有分类模型推理成本高昂，尤其是在使用大型模型时，如何在预算约束下选择合适的模型组合是一个挑战。
  2. OCCAM提出了一种基于精度估计和整数线性规划的模型选择方法，旨在最大化精度并控制成本。
  3. 实验表明，OCCAM在保证精度几乎不下降的情况下，能够显著降低分类推理的成本，最高可达40%。

📝 摘要（中文）

分类任务在医疗、自然语言处理和计算机视觉等领域扮演着重要角色。随着机器学习模型的日益普及和容量增长，人们可以轻松地在线或离线访问训练好的分类器。然而，模型的使用是有成本的，更高容量的分类器（如大型基础模型）通常会产生更高的推理成本。为了利用不同分类器的各自优势，我们提出了一种原则性的方法OCCAM，用于计算分类查询的最佳分类器分配策略（称为最优模型组合），以便在用户指定的成本预算下最大化聚合精度。我们的方法使用无偏且低方差的精度估计器，并通过求解整数线性规划问题有效地计算最优解。在各种真实世界的数据集上，OCCAM实现了40%的成本降低，且几乎没有精度下降。

🔬 方法详解

问题定义：论文旨在解决在给定成本预算下，如何选择最优的分类器组合，以最大化整体分类精度的问题。现有方法要么没有考虑成本因素，要么无法有效地找到全局最优解，导致精度损失或成本超支。

核心思路：OCCAM的核心思路是构建一个精度估计器，用于预测每个分类器在不同查询上的精度，然后利用整数线性规划（ILP）来寻找在成本约束下，能够最大化整体精度的分类器组合。通过这种方式，可以根据查询的特点和分类器的性能，动态地选择最合适的分类器，从而在精度和成本之间取得平衡。

技术框架：OCCAM的整体框架包括以下几个主要步骤：1) 精度估计：使用无偏且低方差的精度估计器，预测每个分类器在不同查询上的精度。2) 成本建模：对每个分类器的推理成本进行建模。3) 整数线性规划：构建一个整数线性规划问题，目标是在成本预算约束下，最大化整体分类精度。4) 求解优化问题：使用ILP求解器找到最优的分类器组合。

关键创新：OCCAM的关键创新在于提出了一种无偏且低方差的精度估计器，以及利用整数线性规划来寻找全局最优的分类器组合。与现有方法相比，OCCAM能够更准确地估计分类器的精度，并有效地找到在成本约束下的最优解。

关键设计：精度估计器采用了一种基于抽样的策略，通过对少量查询进行实际推理，来估计分类器在整个数据集上的精度。整数线性规划问题的目标函数是最大化整体分类精度，约束条件包括成本预算约束和每个查询只能选择一个分类器的约束。ILP求解器可以使用现成的优化工具，如Gurobi或CPLEX。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OCCAM在多个真实世界的数据集上取得了显著的性能提升。与传统的单一模型方法相比，OCCAM能够在保证精度几乎不下降的情况下，降低高达40%的推理成本。此外，OCCAM的性能优于其他模型选择方法，证明了其在成本效益和精度感知方面的优势。

🎯 应用场景

OCCAM可应用于各种需要分类任务的场景，例如在线广告推荐、金融风险评估、医疗诊断辅助等。通过根据成本预算和精度需求动态选择合适的模型组合，可以显著降低推理成本，提高资源利用率，并为用户提供更高效、更经济的服务。未来，该方法可以扩展到更复杂的模型选择问题，例如多任务学习和模型蒸馏。

📄 摘要（原文）

Classification tasks play a fundamental role in various applications, spanning domains such as healthcare, natural language processing and computer vision. With the growing popularity and capacity of machine learning models, people can easily access trained classifiers as a service online or offline. However, model use comes with a cost and classifiers of higher capacity (such as large foundation models) usually incur higher inference costs. To harness the respective strengths of different classifiers, we propose a principled approach, OCCAM, to compute the best classifier assignment strategy over classification queries (termed as the optimal model portfolio) so that the aggregated accuracy is maximized, under user-specified cost budgets. Our approach uses an unbiased and low-variance accuracy estimator and effectively computes the optimal solution by solving an integer linear programming problem. On a variety of real-world datasets, OCCAM achieves 40% cost reduction with little to no accuracy drop.