Proactive Agentic Orchestration
作者: Xueyang Feng, Chaozhuo Li, Xiaohe Bo, Jiakai Tang, Chenxi Li, Qiwei Ye, Xu Chen
分类: cs.CL
发布日期: 2026-10-09
备注: 41 pages including references and appendices, 11 figures. Code: https://github.com/XueyangFeng/POrchestra
🔗 代码/项目: GITHUB
💡 一句话要点
提出POrchestra框架以解决现有代理编排的适应性不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 主动编排 代理系统 动态适应性 在线蒸馏 机器学习 任务成功率 反馈机制
📋 核心要点
- 现有的代理编排方法在动态环境中适应性不足，固定的目标和工具限制了子代理的灵活性。
- POrchestra框架允许子代理在执行过程中主动请求工具调整，从而提高适应性，并引入了基于事后反馈的在线编排蒸馏技术。
- 在实验中，POrchestra在多个基准测试中显著提高了任务成功率，且在成本性能方面表现更佳。
📝 摘要（中文）
代理编排将任务委派给具有独立上下文的子代理，为扩展大型语言模型代理的有效执行范围提供了关键路径。然而，现有编排方法在执行和优化方面存在两大局限性：一是固定子代理的目标和工具，限制了其在动态环境中的适应性；二是稀疏和延迟反馈限制了编排策略的有效学习。为了解决这些问题，本文提出了POrchestra，一个即时的主动代理编排框架。该框架允许子代理在任何逻辑点主动与编排者沟通以请求工具调整，同时保持本地执行的连续性。这一机制不仅使子代理能够无缝适应动态环境，还自然启发了基于事后反馈的在线编排蒸馏（OPOD）。实验结果表明，POrchestra在三个长时间代理基准测试中相较于最强基线平均提高了9.1%的任务成功率，结合OPOD后，小编排者的成功率平均提高了10.0%。
🔬 方法详解
问题定义：本文旨在解决现有代理编排方法在动态环境中适应性不足的问题。当前方法固定子代理的目标和工具，导致其无法灵活应对变化的环境，同时稀疏和延迟的反馈也限制了编排策略的有效学习。
核心思路：POrchestra框架的核心思想是允许子代理在执行过程中主动与编排者沟通，以请求工具的调整。这种设计使得子代理能够根据环境变化进行自我调整，从而提高整体执行的灵活性和有效性。
技术框架：POrchestra的整体架构包括编排者和多个子代理，子代理可以在任何逻辑点发起请求，编排者根据请求调整工具。该框架还引入了在线编排蒸馏（OPOD），通过事后反馈优化编排策略。
关键创新：POrchestra的主要创新在于其主动沟通机制和基于事后反馈的在线编排蒸馏（OPOD）。与现有方法相比，POrchestra能够实时调整子代理的工具，显著提升了适应性和学习效率。
关键设计：在设计中，POrchestra采用了动态反馈机制，允许子代理在执行过程中进行自我调整。同时，OPOD利用子代理的主动请求与之前的编排决策关联，生成针对性的改进信号，以优化编排策略。
🖼️ 关键图片
📊 实验亮点
在实验中，POrchestra在三个长时间代理基准测试中相较于最强基线平均提高了9.1%的任务成功率，结合OPOD后，小编排者的成功率平均提高了10.0%。此外，POrchestra在成本性能方面也表现出更优的平衡，显示出其在实际应用中的优势。
🎯 应用场景
POrchestra框架具有广泛的应用潜力，特别是在需要高度适应性的动态环境中，如智能助手、软件工程和深度研究等领域。其能够实时调整策略的能力，将大大提升自动化系统在复杂任务中的表现，推动相关技术的进步与应用。
📄 摘要（原文）
Agentic orchestration delegates tasks to sub-agents with independent contexts, providing a key path to extending the effective execution horizon of large language model agents. However, existing orchestration methods face two limitations: in execution, current methods fix sub-agents' goals and harnesses at creation time, limiting their adaptability to dynamic real-world environments; in optimization, sparse and delayed feedback constrains effective learning of the orchestration policy. To address these limitations, we introduce POrchestra, an on-the-fly proactive agentic orchestration framework. It allows sub-agents to proactively communicate with the orchestrator at any logical point to request harness adjustments while maintaining continuity of local execution. This mechanism not only enables sub-agents to adapt seamlessly to dynamic environments but also naturally inspires On-Policy Orchestration Distillation (OPOD) based on hindsight feedback. OPOD attributes sub-agents' proactive revision requests back to preceding orchestration decisions to derive targeted improvement signals, and leverages these signals as process supervision alongside the final reward to optimize the orchestration policy. We evaluate POrchestra on three long-horizon agent benchmarks spanning deep research, dynamic digital assistance, and software engineering. POrchestra improves task success by an average of 9.1% relative to the strongest baseline; combined with OPOD, it improves small-orchestrator success by an average of 10.0% relative to existing training baselines. POrchestra also achieves a more favorable cost-performance trade-off. Our code is publicly available at https://github.com/XueyangFeng/POrchestra.