TRACE-ROUTER: Task-Consistent and Adaptive Online Routing for Agentic AI

📄 arXiv: 2607.22465v1 📥 PDF

作者: Ritik Raj, Souvik Kundu, Sarbartha Banerjee, Dheemanth Joshi, Ishita Vohra, Tushar Krishna

分类: cs.AI, cs.LG, cs.MA

发布日期: 2026-07-24

💡 一句话要点

提出TRACE-Router以解决长时序任务的路由问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 任务级路由 上下文赌博机 长时序任务 大型语言模型 准确性与延迟权衡

📋 核心要点

  1. 现有的路由方法在处理长时序任务时，无法有效地将反馈归因于单个路由决策，导致性能下降。
  2. TRACE-Router通过上下文赌博机在任务入场时进行一次性模型选择，后续调用固定于该模型，从而提高了路由的适应性和准确性。
  3. 在tau2-Bench和Terminal-Bench等基准测试中，TRACE-Router分别提升了7-8个准确度点和7.1个准确度点，同时降低了36%的延迟。

📝 摘要（中文）

在企业AI的部署中，选择具有不同成本-质量权衡的大型语言模型（LLM）进行路由已成为基本特性。现有的路由器主要为每个LLM调用独立做出决策，这与执行长时序工作流的智能应用的需求不匹配。为此，本文提出了TRACE-Router，一个任务级路由框架，通过上下文赌博机在任务入场时将每个任务分配给一个模型，并将所有后续LLM调用固定到所选后端。TRACE-Router利用延迟的任务反馈，学习适应工作负载的路由策略，同时避免显式的任务复杂度估计。实验结果表明，TRACE-Router在三个基准测试中显著改善了准确性与延迟的权衡。

🔬 方法详解

问题定义：本文旨在解决现有路由方法在长时序智能应用中无法有效归因反馈的问题。现有方法对每个LLM调用独立决策，导致无法准确评估整体任务质量。

核心思路：TRACE-Router通过在任务入场时使用上下文赌博机一次性选择模型，后续所有调用均固定于该模型，从而实现任务级别的路由决策，避免了对任务复杂度的显式估计。

技术框架：TRACE-Router的整体架构包括任务入场时的模型选择模块、后续LLM调用的固定模块，以及基于任务终端奖励更新策略的模块。

关键创新：TRACE-Router的主要创新在于其任务级路由框架，能够利用延迟的任务反馈来学习适应性路由策略，与传统的逐调用路由方法形成鲜明对比。

关键设计：TRACE-Router在设计中采用了上下文赌博机作为模型选择机制，使用任务的终端奖励来更新路由策略，确保在准确性和延迟之间实现最佳平衡。具体的损失函数和参数设置在实验中进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，TRACE-Router在tau2-Bench上比延迟匹配的模型插值提高了7-8个准确度点，而在Terminal-Bench上则比最强单模型基线提高了7.1个准确度点，同时延迟降低了36%。这些结果表明TRACE-Router在准确性和延迟之间实现了显著的权衡改善。

🎯 应用场景

TRACE-Router的研究成果具有广泛的应用潜力，尤其是在需要处理复杂长时序任务的智能应用场景中，如自动化客服、智能助手和决策支持系统等。其适应性路由策略能够显著提升系统的响应速度和准确性，进而提高用户体验和业务效率。

📄 摘要（原文）

Routing to select large language models (LLMs) with different cost-quality trade-offs has become a fundamental deployment feature of enterprise AI. Existing routers, primarily make independent routing decisions for each LLM call. However, agentic applications execute as long-horizon workflows whose quality is determined only by a delayed, task-level outcome. This mismatch prevents per-call routers from correctly attributing feedback to individual routing decisions. Towards mitigating this, we present TRACE-Router, a task-level routing framework that aligns routing with the unit of supervision. TRACE-Router assigns each task to a model once at admission using a contextual bandit, pins all subsequent LLM calls to the selected backend, and updates its policy using the task's terminal reward, jointly accounting for accuracy and latency. By leveraging delayed task feedback, TRACE-Router learns routing policies that adapt to the workload while avoiding explicit task-complexity estimation. Across three agentic benchmarks, TRACE-Router consistently improves the accuracy-latency trade-off, achieving non-dominated Pareto frontier points. On tau2-Bench, it outperforms latency-matched interpolation between individual models by 7-8 accuracy points, while on Terminal-Bench it achieves 7.1 higher accuracy points than the strongest single model baseline with 36% lower latency.