EvoRoute: Experience-Driven Self-Routing LLM Agent Systems
作者: Guibin Zhang, Haiyang Yu, Kaiming Yang, Bingli Wu, Fei Huang, Yongbin Li, Shuicheng Yan
分类: cs.CL, cs.MA
发布日期: 2026-01-06
💡 一句话要点
EvoRoute：提出经验驱动的自路由LLM Agent系统，解决Agent系统三难困境
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Agent系统 大型语言模型 模型路由 自进化学习 成本优化
📋 核心要点
- 现有Agent系统在性能、成本和延迟之间存在难以兼顾的“三难困境”。
- EvoRoute通过经验驱动的自路由机制，动态选择最优LLM，平衡性能、成本和效率。
- 实验表明，EvoRoute能显著降低Agent系统的成本和延迟，同时保持或提升性能。
📝 摘要（中文）
复杂Agent AI系统依赖于大型语言模型（LLM）、工具和记忆模块的协同，在复杂的多轮任务中表现出卓越的能力。然而，高昂的经济成本和严重的延迟掩盖了这一成功，暴露了一个关键但未被充分探索的权衡。我们将这一挑战形式化为 extbf{Agent系统三难困境}：在实现最先进的性能、最小化货币成本和确保快速任务完成之间存在固有的紧张关系。为了打破这一困境，我们引入了EvoRoute，一种超越静态、预定义模型分配的自进化模型路由范式。EvoRoute利用不断扩展的先前经验知识库，动态地选择每个步骤的Pareto最优LLM骨干，平衡准确性、效率和资源使用，同时通过环境反馈不断改进其自身的选择策略。在GAIA和BrowseComp+等具有挑战性的Agent基准测试中进行的实验表明，EvoRoute在集成到现成的Agent系统中时，不仅可以维持或提高系统性能，还可以将执行成本降低高达80％，并将延迟降低70％以上。
🔬 方法详解
问题定义：现有Agent系统在解决复杂任务时，依赖于大型语言模型（LLM）的协同工作，但面临着性能、成本和延迟之间的权衡。为了达到最佳性能，通常需要使用计算资源消耗巨大的LLM，导致高昂的运行成本和较长的响应时间，这限制了Agent系统的实际应用。
核心思路：EvoRoute的核心思想是根据历史经验，动态地为Agent系统的每个步骤选择最合适的LLM。它不再依赖于预定义的静态模型分配，而是通过学习到的策略，在不同的LLM之间进行路由，以在性能、成本和延迟之间找到最佳平衡点。这种动态路由机制允许系统根据任务的复杂度和资源可用性，灵活地调整LLM的使用。
技术框架：EvoRoute的整体架构包含以下几个主要模块：1) 经验知识库：存储历史任务的执行信息，包括任务描述、LLM选择、性能指标（准确率、成本、延迟）等。2) 模型选择器：根据当前任务的描述和经验知识库，选择最合适的LLM。模型选择器可以通过强化学习或其他机器学习方法进行训练。3) LLM执行器：执行选定的LLM，并返回结果。4) 反馈机制：根据LLM的执行结果，更新经验知识库，并调整模型选择器的策略。
关键创新：EvoRoute的关键创新在于其自进化的模型路由范式。与传统的静态模型分配方法不同，EvoRoute能够根据历史经验和环境反馈，动态地调整LLM的选择策略。这种自进化机制使得系统能够不断学习和适应，从而在性能、成本和延迟之间找到更好的平衡点。此外，EvoRoute还引入了Pareto最优LLM选择的概念，确保在任何给定的成本水平下，选择的LLM能够提供最佳的性能。
关键设计：EvoRoute的关键设计包括：1) 经验知识库的构建和维护：如何有效地存储和检索历史任务的执行信息，是影响EvoRoute性能的关键因素。2) 模型选择器的训练：如何设计合适的奖励函数和训练算法，使得模型选择器能够学习到最优的LLM选择策略。3) Pareto最优LLM的定义和计算：如何定义LLM的性能指标（准确率、成本、延迟），以及如何计算Pareto最优LLM集合。
🖼️ 关键图片
📊 实验亮点
实验结果表明，EvoRoute在GAIA和BrowseComp+等Agent基准测试中，能够在维持或提高系统性能的同时，将执行成本降低高达80％，并将延迟降低70％以上。这些结果证明了EvoRoute在解决Agent系统三难困境方面的有效性。例如，在GAIA基准测试中，EvoRoute在保持性能不变的情况下，将成本降低了75％，延迟降低了65％。
🎯 应用场景
EvoRoute可应用于各种需要Agent系统参与的领域，例如智能客服、自动化报告生成、代码生成、研究助理等。通过降低Agent系统的成本和延迟，EvoRoute可以促进Agent技术在更广泛的场景中的应用，并加速AI赋能各行各业的进程。未来，EvoRoute可以进一步扩展到支持更多类型的LLM和工具，并与其他优化技术相结合，以实现更高的性能和效率。
📄 摘要（原文）
Complex agentic AI systems, powered by a coordinated ensemble of Large Language Models (LLMs), tool and memory modules, have demonstrated remarkable capabilities on intricate, multi-turn tasks. However, this success is shadowed by prohibitive economic costs and severe latency, exposing a critical, yet underexplored, trade-off. We formalize this challenge as the \textbf{Agent System Trilemma}: the inherent tension among achieving state-of-the-art performance, minimizing monetary cost, and ensuring rapid task completion. To dismantle this trilemma, we introduce EvoRoute, a self-evolving model routing paradigm that transcends static, pre-defined model assignments. Leveraging an ever-expanding knowledge base of prior experience, EvoRoute dynamically selects Pareto-optimal LLM backbones at each step, balancing accuracy, efficiency, and resource use, while continually refining its own selection policy through environment feedback. Experiments on challenging agentic benchmarks such as GAIA and BrowseComp+ demonstrate that EvoRoute, when integrated into off-the-shelf agentic systems, not only sustains or enhances system performance but also reduces execution cost by up to $80\%$ and latency by over $70\%$.