CB-Orchestrator: Adaptive Workflow Optimization for LLM Agents via Contextual Bandits

📄 arXiv: 2610.13064v1 📥 PDF

作者: Jiahang Sun, Zhiwei Shang, Zhipiao Liu, Hongwei Yang, Guoqing Xie, Shuang Qiu, Zhongxiang Dai

分类: cs.LG

发布日期: 2026-10-09

备注: Presented at ICML 2026 Workshop on Compositional Learning: Safety, Interpretability, and Agents

💡 一句话要点

提出CB-Orchestrator以解决LLM代理工作流优化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 工作流优化 上下文赌博机 自适应选择 进化搜索 样本高效学习 API成本 性能提升

📋 核心要点

  1. 现有方法在自动化工作流优化中面临高昂的API成本和缺乏灵活性的问题。
  2. CB-Orchestrator通过将工作流生成与选择解耦，采用上下文赌博机模型实现自适应选择。
  3. 在多个基准测试中，CB-Orchestrator的性能优于所有基线，尤其在MATH数据集上显著降低了API令牌开销。

📝 摘要（中文）

大型语言模型（LLM）代理在处理复杂任务时展现出卓越的能力，但手动设计工作流既费时又缺乏灵活性。现有的自动化工作流优化方法在训练阶段反馈收集时成本高昂，且未能有效重用高质量工作流。为此，本文提出CB-Orchestrator，一个自适应框架，将工作流生成与选择解耦。在第一阶段，通过进化搜索构建多样化的候选工作流池；在第二阶段，将工作流选择建模为上下文赌博机问题，实现样本高效学习，显著减少训练所需反馈。在推理阶段，模型根据每个查询自适应选择最佳工作流。评估结果表明，CB-Orchestrator在五个不同基准上均优于所有基线，尤其在MATH数据集上，减少训练阶段API令牌开销不低于40.55%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLM）代理在复杂任务中工作流设计的灵活性不足和高昂的API成本问题。现有方法在训练阶段需要大量反馈，导致成本高且效率低下。

核心思路：CB-Orchestrator的核心思路是将工作流的生成与选择过程分开，通过上下文赌博机模型实现高效的样本学习，平衡探索与利用，从而减少训练所需的反馈量。

技术框架：该框架分为两个主要阶段：第一阶段通过进化搜索生成多样化的候选工作流池；第二阶段将工作流选择视为上下文赌博机问题，进行自适应选择。

关键创新：CB-Orchestrator的创新在于其将工作流生成与选择解耦，并通过上下文赌博机模型实现样本高效学习，这与现有方法的紧耦合设计形成鲜明对比。

关键设计：在设计中，关键参数包括候选工作流的多样性和上下文信息的利用，损失函数则侧重于优化选择的准确性和反馈的有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，CB-Orchestrator在五个基准测试中均优于所有基线，特别是在MATH数据集上，性能提升显著，训练阶段API令牌开销减少不低于40.55%，整体训练（包括工作流池生成）令牌开销减少不低于29.73%。

🎯 应用场景

CB-Orchestrator在多个领域具有广泛的应用潜力，尤其是在需要快速响应和高效处理的复杂任务场景中，如智能客服、自动化编程和数据分析等。其自适应选择机制能够显著提高工作流的灵活性和效率，降低成本，推动相关技术的进一步发展。

📄 摘要（原文）

Large Language Model (LLM) agents have demonstrated remarkable capabilities in tackling complex tasks through agentic workflows. However, manually designing these workflows is labor-intensive and lacks flexibility to adapt to diverse queries. While automated workflow optimization is a promising direction, existing methods often incur expensive API costs during training-phase feedback collection. Furthermore, they fail to adaptively reuse high-quality workflows, which creates a bottleneck for both performance and cost-effectiveness. To address these limitations, we propose CB-Orchestrator, an adaptive framework that decouples workflow generation from selection. In the first stage, we construct a diverse pool of candidate workflows via evolutionary search. In the second stage, we formulate workflow selection as a Contextual Bandit problem, which enables sample-efficient learning by balancing exploration and exploitation, thereby significantly reducing the feedback required for training. During inference, the model adaptively selects the optimal workflow tailored to each query. Evaluations across five diverse benchmarks demonstrate that CB-Orchestrator consistently outperforms all baselines. Notably, on the MATH dataset, CB-Orchestrator achieves better performance than strong recent baselines while reducing training-phase API token overhead by no less than 40.55% and total end-to-end training (including workflow pool generation) token overhead by no less than 29.73%.