RouterWorld: Scaling Conversational AI with Latency-Aware LLM Routing

📄 arXiv: 2610.26511v1 📥 PDF

作者: Jinyang Li, Denis Emelin, Simone Tedeschi, Weiwei Cheng, Cristina Morariu, Haytham Assem, Jens Lehmann, Emine Yilmaz, Angus Addlesee

分类: cs.AI, cs.CL, cs.LG

发布日期: 2026-10-19

备注: 28 pages, pre-print

💡 一句话要点

提出RouterWorld以解决对话AI中的延迟感知LLM路由问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话AI 大型语言模型 路由机制 延迟感知 基准测试 部分可观察性 自然用户交互 模型评估

📋 核心要点

  1. 现有的LLM路由方法假设完全可观察性，未能有效考虑延迟这一关键指标，导致在实际应用中表现不佳。
  2. RouterWorld通过引入371k个单轮响应和76k个多轮轨迹，采用自然用户交互和标准化评估协议，解决了延迟感知路由的问题。
  3. 实验结果表明，大多数现有路由器在部分可观察性下过于关注准确性，忽视了响应延迟，RouterWorld提供了更全面的评估框架。

📝 摘要（中文）

基于大型语言模型（LLMs）的对话AI系统需要平衡答案质量与响应延迟的路由机制。然而，现有的LLM路由基准假设对所有候选模型结果具有完全可观察性，未能将延迟作为首要指标，并且在异构协议中进行评估，这与现实世界设置不一致。我们提出RouterWorld，这是一个全面的LLM路由基准，统一了371k个单轮响应和76k个多轮代理轨迹，采用标准化的LLM作为评判者的协议，并通过硬件基础的延迟注释将效率与瞬时定价解耦。RouterWorld在部分可观察性下正式化路由，通过两个设置：Cold-Start限制学习于稀疏的静态日志，而Voyager则模拟连续数据流，其中路由决策影响未来的训练分布。评估13个路由基线后，我们发现大多数路由器过于强调准确性，而忽视了在部分可观察性下的延迟。代码和基准数据已公开。

🔬 方法详解

问题定义：本论文旨在解决对话AI中LLM路由的延迟感知问题。现有方法通常假设对所有候选模型结果具有完全可观察性，未能将延迟作为重要指标，导致在真实场景中的应用效果不佳。

核心思路：RouterWorld通过引入自然用户交互和标准化的评估协议，结合部分可观察性的路由设置，旨在平衡答案质量与响应延迟。通过Cold-Start和Voyager两种设置，模型能够在不同的数据可用性条件下进行有效学习。

技术框架：RouterWorld的整体架构包括数据收集、模型评估和路由决策三个主要模块。数据收集阶段整合了单轮和多轮对话数据，模型评估阶段采用LLM作为评判者，路由决策则基于延迟和准确性进行优化。

关键创新：RouterWorld的主要创新在于将延迟作为首要评估指标，并在部分可观察性下进行路由 formalization。这一设计使得模型能够在真实世界的动态环境中进行有效的学习和适应。

关键设计：在RouterWorld中，采用了硬件基础的延迟注释来解耦效率与瞬时定价，同时在Cold-Start和Voyager设置中，设计了不同的学习策略以适应数据的稀疏性和连续性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在对13个路由基线的评估中，RouterWorld显示出大多数现有路由器在部分可观察性下过于关注准确性，忽视了延迟。实验结果表明，RouterWorld能够更好地平衡响应质量与延迟，为对话AI系统提供了更有效的路由策略。

🎯 应用场景

RouterWorld的研究成果可广泛应用于对话AI系统的优化，尤其是在需要实时响应的场景中，如客服机器人、智能助手等。通过有效的路由机制，系统能够在保证响应质量的同时，显著降低延迟，提高用户体验。未来，该框架还可能推动更多基于LLM的应用开发，提升其在复杂环境中的适应能力。

📄 摘要（原文）

Conversational AI systems built on Large Language Models (LLMs) require routing mechanisms that balance answer quality and response latency at scale. However, existing LLM routing benchmarks assume full observability of all candidate model outcomes, under-emphasize latency as a first-class metric, and fragment evaluation across heterogeneous protocols misaligned with real-world settings. We introduce RouterWorld, a comprehensive benchmark for LLM routing in conversational GenAI. RouterWorld unifies 371k single-turn responses and 76k multi-turn agentic trajectories, adopts natural user interactions with a standardized LLM-as-a-judge protocol, and decouples efficiency from transient pricing via hardware-grounded latency annotations. Crucially, RouterWorld formalizes routing under partial observability through two setups: Cold-Start, which restricts learning to sparse, static logs, and Voyager, which models continuous data streams where routing decisions shape future training distributions. Evaluating 13 routing baselines, we find that most routers over-emphasize accuracy while ignoring latency under partial observability. Code and benchmark data are publicly available.