Learning to Steer LLM Agents and Multi-Agent Systems
作者: Leyang Shen, Yaxin Gong, Yang Zhang, Chenxiao Fan, Jiakai Wang, Dong Wang, Yang Liu, Fuli Feng, Chun Kai Ling, Tat-Seng Chua
分类: cs.LG, cs.AI, cs.MA
发布日期: 2026-10-15
备注: 21 pages, 6 figures
💡 一句话要点
提出引导代理以解决大语言模型系统的目标漂移问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 多代理系统 目标漂移 引导代理 强化学习 执行监督 信息检索 策略优化
📋 核心要点
- 现有的LLM代理和多代理系统在执行复杂任务时容易出现目标漂移，导致资源浪费和不理想的结果。
- 本文提出的引导代理通过实时监督执行过程，能够在目标漂移发生时进行有效干预，从而保持系统的执行方向。
- 实验结果显示，引导代理显著提升了单代理和多代理系统的性能和效率，并且其学习的引导智能能够泛化到未见任务和执行者。
📝 摘要（中文）
基于大语言模型（LLM）的代理和多代理系统在复杂任务中越来越多地通过长期工具使用和代理间协作来解决问题。然而，这些系统在执行过程中容易偏离整体目标，导致资源浪费和不良结果，称为目标漂移。本文提出了一种引导代理，能够实时监督执行过程，并在发生漂移时将系统引导回正轨。引导代理观察执行上下文，决定何时以低成本的快速路径进行干预，以及如何以高成本的慢速路径进行干预。为了提升其引导智能，本文通过强化学习联合训练这两条路径，结合成对排名目标和群体相对策略优化（GRPO）。在信息检索任务中的实验表明，引导代理为单代理和多代理系统提供了有效的监督，提高了性能和效率。
🔬 方法详解
问题定义：本文旨在解决大语言模型代理和多代理系统在执行复杂任务时的目标漂移问题。现有方法缺乏有效的实时监督机制，导致系统在执行过程中偏离目标。
核心思路：论文提出了一种引导代理，能够实时观察执行上下文，并在目标漂移发生时进行干预。通过设计低成本的快速路径和高成本的慢速路径，提升系统的执行效率和效果。
技术框架：整体架构包括引导代理、执行上下文观察模块和干预决策模块。引导代理通过强化学习联合训练这两条路径，以实现有效的干预策略。
关键创新：最重要的技术创新在于引导代理的设计，使其能够实时评估目标漂移并生成有效的干预措施。这一方法与现有的单一策略执行方法本质上不同，提供了更灵活的干预机制。
关键设计：在训练过程中，采用成对排名目标和群体相对策略优化（GRPO）作为损失函数，确保引导代理能够在不同情况下做出最佳决策。网络结构设计上，快速路径和慢速路径的参数设置经过精心调整，以平衡干预成本和执行效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，引导代理在信息检索任务中显著提高了单代理和多代理系统的性能，具体提升幅度达到20%以上。该方法在不同任务和未见执行者上均表现出良好的泛化能力，支持可控的干预频率而无需重新训练。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化决策系统和多机器人协作等场景。通过引导代理的引入，可以显著提高这些系统在复杂任务中的执行效率和成功率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large language model (LLM)-based agents and multi-agent systems increasingly tackle complex tasks through long-horizon tool use and inter-agent collaboration. However, these systems are prone to deviating from the overall goal as execution unfolds, which wastes execution resources and leads to undesired outcomes, a failure termed goal drift. In this work, we propose a steering agent that supervises execution on the fly and steers the system back on track when drift occurs. The steering agent observes the execution context, deciding when to intervene with a low-cost fast path and how to intervene with a high-cost slow path. To unlock its steering intelligence, the ability to assess goal drift and generate effective interventions, we jointly train the two paths with reinforcement learning, combining a pairwise ranking objective with group-relative policy optimization (GRPO). Experiments on information-seeking search tasks show that the steering agent provides effective supervision for both single-agent and multi-agent systems, improving their performance and efficiency. The learned steering intelligence generalizes to out-of-domain tasks, transfers to unseen executors, and supports controllable intervention frequency without retraining.