Which LLM to pick? Online Active Model Selection for Large Language Models

📄 arXiv: 2610.01592v1 📥 PDF

作者: Alessandro Turrin, Patrik Okanovic, Torsten Hoefler, Nezihe Merve Gürel

分类: cs.CL, cs.LG

发布日期: 2026-10-01

💡 一句话要点

提出ONLINE LLM PICKER以解决在线大语言模型选择问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 主动选择 在线学习 注释成本 信息量评估 模型选择

📋 核心要点

  1. 现有方法依赖基准测试选择大语言模型，但这些测试无法准确反映真实性能，且oracle注释获取成本高。
  2. 论文提出ONLINE LLM PICKER框架，通过选择最具信息量的提示进行注释，有效识别最佳LLM，适应在线查询流。
  3. 实验结果表明，ONLINE LLM PICKER在多个任务中节省注释成本达71.67%，并在未注释提示上实现了2.51倍的后悔减少。

📝 摘要（中文）

随着大语言模型（LLMs）在流数据处理中的广泛应用，实践者通常依赖基准测试来选择最佳模型，然而这些信号仅能近似真实性能。尽管oracle注释能够提供可靠反馈，但获取成本高且难以大规模实现。为了解决这一挑战，本文提出了ONLINE LLM PICKER，这是第一个用于在线环境中大语言模型主动选择的框架。该框架在给定任意查询流和有限注释预算的情况下，选择最具信息量的提示进行注释，以识别候选模型中最佳的LLM。通过在10个数据集上对130多个语言模型的多项任务进行测试，我们展示了ONLINE LLM PICKER能够将注释成本节省高达71.67%，同时可靠地识别流中的最佳或接近最佳模型。

🔬 方法详解

问题定义：本文旨在解决在在线环境中选择最佳大语言模型的难题。现有方法依赖于基准测试和高成本的oracle注释，无法有效应对实时数据流的需求。

核心思路：提出ONLINE LLM PICKER框架，通过主动选择最具信息量的提示进行注释，从而在有限的预算内识别最佳模型。此设计旨在提高注释效率和模型选择的准确性。

技术框架：ONLINE LLM PICKER的整体架构包括数据流输入模块、信息量评估模块和模型选择模块。首先，系统接收查询流，然后评估每个提示的信息量，最后选择最优提示进行注释。

关键创新：该框架的核心创新在于其主动选择机制，能够在有限的注释预算下，快速识别最佳或接近最佳的LLM，与传统方法相比，显著提高了选择效率和准确性。

关键设计：在设计中，关键参数包括信息量评估算法和注释预算的动态调整策略。损失函数的选择也经过精心设计，以确保模型选择的可靠性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，ONLINE LLM PICKER在多个任务中将注释成本节省高达71.67%，同时在未注释提示上实现了2.51倍的后悔减少，表明其在模型选择上的高效性和准确性。

🎯 应用场景

该研究的潜在应用场景包括实时数据分析、在线客服系统和动态内容生成等领域。通过提高大语言模型的选择效率，能够显著降低成本并提升系统响应速度，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly applied to process streaming data, with practitioners relying on benchmarks to select the best model even though these signals only approximate real performance. While oracle annotations can provide reliable feedback, they are often costly and difficult to obtain at scale. To address this challenge, we propose ONLINE LLM PICKER, the first framework for active model selection for LLMs in online settings. Given an arbitrary stream of queries and a limited annotation budget, ONLINE LLM PICKER selects the most informative prompts for annotation to identify the best LLM among candidate models. Across multiple tasks including 10 datasets, for over 130 language models, we show that ONLINE LLM PICKER saves annotation cost by up to 71.67% while reliably identifying the best or near-best model for the stream. We also show that using the returned model for sequential generation on unannotated prompts across the stream reduces regret by up to a factor of 2.51x, indicating that ONLINE LLM PICKER can identify the best or near-best model well before processing all streaming prompts.