You're Hired: Strategic Model Selection for LLM Collaboration

📄 arXiv: 2609.38816v1 📥 PDF

作者: Zongwan Cao, Ziyuan Yang, Shangbin Feng, Michael Duan, Skyler Hallinan, Bingbing Wen, Lucy Lu Wang, Yulia Tsvetkov

分类: cs.CL

发布日期: 2026-09-30

备注: 21 pages, 10 tables, 5 figures

💡 一句话要点

提出多模型选择算法以优化LLM协作系统

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 模型选择 多智能体系统 能力感知 行为多样性 协作算法 实验评估

📋 核心要点

  1. 现有的多LLM系统在模型选择上依赖于预定义的模型池，限制了其灵活性和性能。
  2. 本文提出了9种模型选择算法，强调能力感知和行为多样性，以优化多LLM系统的协作效果。
  3. 实验结果显示，基于能力和训练的选择策略显著提升了模型选择的有效性，最大提升幅度达到36.1%。

📝 摘要（中文）

随着多智能体和模型协作算法的兴起，结合多种大型语言模型（LLM）的优势变得愈发重要。然而，现有系统仍然受限于预定义和手工设计的模型池。本文探讨了多LLM系统中的模型选择问题，提出并系统评估了9种选择算法，涵盖模型描述的多样性、能力感知的行为多样性以及基于LLM的招聘者。通过在两个候选池（10个和32个模型）中进行广泛实验，结果表明，成功的选择算法在各个设置中比随机或基于启发式的团队表现出高达36.1%的提升。特别是基于能力和训练的选择策略有效减轻了选择方差，取得了最佳性能，建议在实际部署多LLM系统前采用。进一步分析显示，较大的候选池对浅层选择启发式提出了更大挑战，而基于与候选模型交互和理解模型能力的算法能够有效过滤不匹配和不安全的模型，并在新颖的、分布外的任务中具有良好的泛化能力。

🔬 方法详解

问题定义：本文旨在解决多LLM系统中模型选择的有效性问题，现有方法往往依赖于固定模型池，导致性能瓶颈和灵活性不足。

核心思路：通过提出多种模型选择算法，特别关注模型的能力和行为多样性，以实现更优的协作效果。这样的设计旨在提升模型选择的智能化和适应性。

技术框架：整体架构包括模型描述多样性、能力感知行为多样性和基于LLM的招聘者三个主要模块，结合不同算法进行模型选择。实验中使用了两个候选池，分别包含10个和32个模型。

关键创新：最重要的创新在于提出了能力感知和训练基础的选择策略，这些策略能够有效降低选择方差，并在多种任务中表现出色，区别于传统的随机或启发式选择方法。

关键设计：在算法设计中，设置了多样化的模型描述和行为特征，采用了针对不同任务的评估标准，确保选择算法能够适应多种应用场景。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，成功的模型选择算法在多个任务设置中比随机选择或基于启发式的团队表现出高达36.1%的提升，特别是能力和训练基础的选择策略在降低选择方差方面表现最佳。

🎯 应用场景

该研究的潜在应用领域包括智能客服、自动编程、教育辅导等需要多模型协作的场景。通过优化模型选择，能够显著提升系统的响应能力和准确性，具有广泛的实际价值和应用前景。

📄 摘要（原文）

While multi-agent and model collaboration algorithms gain traction to combine the strengths of diverse Large Language Models (LLMs), existing systems remain bottlenecked on pre-defined and hand-crafted model pools. In this work, we investigate the problem of model selection in multi-LLM systems. We propose and systematically evaluate a taxonomy of 9 selection algorithms ranging from diversity of model descriptions, capability-aware behavioral diversity, and LLM-based recruiters. We conduct extensive experiments across two candidate pools of 10 and 32 models, deployed in four model collaboration algorithms, and evaluated across tasks spanning math, coding, QA, and reasoning. Results demonstrate that successful selection algorithms greatly outperform random or heuristics-based teams such as merely selecting the models with top individual performance, by up to 36.1% across settings. Specifically, capability- and training-based selection strategies alleviate selection variance and achieve the best performance, which we recommend to employ before deploying real-world multi-LLM systems. Further analysis reveals that larger candidate pools pose greater challenges to shallow selection heuristics, while algorithms grounded in interacting with candidate models and understanding model capability robustly filter out misaligned, unsafe models, as well as generalizing to novel, out-of-distribution tasks. Together, we establish that principled and informed team selection is critical and present strong model selection algorithms for assembling effective multi-LLM systems.