SelectLLM: Query-Aware Efficient Selection Algorithm for Large Language Models
作者: Kaushal Kumar Maurya, KV Aditya Srivatsa, Ekaterina Kochmar
分类: cs.CL
发布日期: 2024-08-16 (更新: 2025-06-12)
备注: 9 pages
期刊: ACL 2025 (Findings)
💡 一句话要点
SelectLLM：一种查询感知的LLM高效选择算法，提升推理效率。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型选择 查询感知 多标签分类 推理效率 模型集成
📋 核心要点
- 现有LLM在泛化能力和复杂任务处理上存在局限性，源于训练偏差、模型大小和数据集质量等因素。
- SelectLLM通过多标签分类器和策略，根据查询选择最合适的LLM子集，实现高效且准确的响应。
- 实验表明，SelectLLM在推理速度上优于现有集成方法，并在GSM8K和MMLU基准测试中分别降低了13%和70%的延迟。
📝 摘要（中文）
大型语言模型（LLMs）因其在各种应用中的卓越性能而被广泛采用，推动了大量不同模型的加速发展。然而，由于固有的训练偏差、模型大小限制以及预训练数据集的质量或多样性，这些LLM在泛化和复杂任务上的表现存在局限性。一个有希望的方向是有效地利用LLM的多样化能力来克服这些个体限制。为了解决这些限制，我们引入了一种名为SelectLLM的新型LLM选择算法，该算法有效地将输入查询定向到大型池中最合适的LLM子集，确保所选模型共同提供准确的响应。SelectLLM采用多标签分类器和策略，基于分类器的预测和置信度分数来选择最优的、查询感知的和轻量级的LLM子集。我们的研究结果表明，所提出的模型优于现有的基于集成的基线，并在保持效率的同时，实现了与类似大小的顶级LLM具有竞争力的性能。具体而言，与表现最佳的基线相比，它在两个具有挑战性的推理基准测试中实现了推理延迟的大幅降低：GSM8K上降低了13％，MMLU上降低了70％。此外，我们通过LLM建立了一个理论上限Oracle，并进行了深入的语言分析，以了解Oracle和SelectLLM之间的性能差距。
🔬 方法详解
问题定义：论文旨在解决如何从大量LLM中高效选择最适合特定查询的模型子集的问题。现有方法，如简单集成，计算成本高昂，且无法根据查询特性进行优化选择，导致效率低下。
核心思路：论文的核心思路是训练一个查询感知的选择器，该选择器能够根据输入查询的特征，预测哪些LLM最有可能给出准确的答案。通过只运行这些被选择的LLM，可以显著降低推理延迟，同时保持甚至提升整体性能。
技术框架：SelectLLM包含以下主要模块：1) 多标签分类器：用于预测哪些LLM适合处理给定的查询。该分类器以查询作为输入，输出一个多标签向量，每个标签表示一个LLM是否应该被选择。2) 选择策略：基于分类器的预测和置信度分数，决定最终选择哪些LLM。该策略可以根据不同的目标进行调整，例如最小化延迟、最大化准确率等。3) LLM池：包含多个不同的LLM，每个LLM具有不同的能力和特点。
关键创新：SelectLLM的关键创新在于其查询感知的选择机制。与传统的集成方法不同，SelectLLM能够根据查询的特性动态地选择LLM子集，从而实现更高的效率和更好的性能。此外，论文还提出了一个基于多标签分类器的选择策略，该策略能够有效地平衡延迟和准确率。
关键设计：多标签分类器可以使用各种机器学习模型，例如逻辑回归、支持向量机或神经网络。论文中使用的具体模型结构和训练方法未知。选择策略可以基于分类器的置信度分数进行阈值化，或者使用更复杂的优化算法来选择最优的LLM子集。损失函数的设计需要考虑延迟和准确率之间的权衡。具体参数设置未知。
🖼️ 关键图片
📊 实验亮点
SelectLLM在GSM8K和MMLU两个具有挑战性的推理基准测试中，与表现最佳的基线相比，分别实现了13%和70%的推理延迟降低。同时，SelectLLM的性能与类似规模的顶级LLM具有竞争力，表明其在效率和准确率之间取得了良好的平衡。论文还通过与Oracle的对比，分析了SelectLLM的性能上限和潜在改进空间。
🎯 应用场景
SelectLLM可应用于各种需要高效利用LLM的场景，例如智能客服、问答系统、内容生成等。通过降低推理延迟，SelectLLM可以提升用户体验，并降低部署成本。该研究对于推动LLM在资源受限环境中的应用具有重要意义，并为未来的LLM选择算法研究提供了新的思路。
📄 摘要（原文）
Large language models (LLMs) have been widely adopted due to their remarkable performance across various applications, driving the accelerated development of a large number of diverse models. However, these individual LLMs show limitations in generalization and performance on complex tasks due to inherent training biases, model size constraints, and the quality or diversity of pre-training datasets. A promising direction is to efficiently harness the diverse capabilities of LLMs to overcome these individual limitations. To address these limitations, we introduce a novel LLM selection algorithm called SelectLLM, which efficiently directs input queries to the most suitable subset of LLMs from a large pool, ensuring that the selected models collectively provide accurate responses. SelectLLM employs a multi-label classifier and policy based on the classifier's predictions and confidence scores in selecting an optimal, query-aware, and lightweight subset of LLMs. Our findings indicate that the proposed model outperforms existing ensemble-based baselines and achieves competitive performance with similarly sized top-performing LLMs while maintaining efficiency. Specifically, it achieves a huge reduction in inference latency on two challenging reasoning benchmarks: 13\% on GSM8K and 70\% on MMLU, compared to the top-performing baseline. Also, we establish a theoretical upper bound by an Oracle with LLMs and perform an in-depth linguistic analysis to understand the performance gap between the Oracle and SelectLLM.