A Goal Without a Plan Is Just a Wish: Efficient and Effective Global Planner Training for Long-Horizon Agent Tasks

📄 arXiv: 2510.05608v1 📥 PDF

作者: Shuzheng Si, Haozhe Zhao, Kangyang Luo, Gang Chen, Fanchao Qi, Minjia Zhang, Baobao Chang, Maosong Sun

分类: cs.CL

发布日期: 2025-10-07

💡 一句话要点

EAGLET：高效训练全局规划器，提升LLM智能体长程任务表现

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长程任务规划 大型语言模型 强化学习 智能体训练 全局规划器

📋 核心要点

  1. 现有基于LLM的智能体在长程任务中缺乏全局规划，导致盲目试错和产生幻觉动作，影响任务完成。
  2. EAGLET方法通过训练一个全局规划器，让智能体先规划再执行，从而提升其在长程任务中的表现。
  3. 实验表明，EAGLET方法在三个长程任务上均超越现有方法，且训练成本显著降低，无需人工干预。

📝 摘要（中文）

本文提出了一种名为EAGLET的高效全局规划器训练方法，旨在解决基于大型语言模型（LLM）的智能体在长程任务中缺乏全局规划、盲目试错和产生幻觉动作的问题。EAGLET采用计划-执行框架，通过两步过程训练一个即插即用的全局规划器：首先，利用同源共识过滤策略从先进的LLM中合成高质量的计划，并进行微调作为冷启动；然后，使用一种新颖的执行器能力增益奖励，通过基于规则的强化学习进一步改进规划器，确保其能够处理不同难度的任务指令。在三个长程智能体任务上的实验表明，配备EAGLET规划器的执行器智能体优于现有方法，取得了新的state-of-the-art性能。同时，EAGLET相比于基于强化学习的基线方法，训练成本降低了8倍，并且不需要人工干预或额外的训练数据，提供了一种高效的解决方案。

🔬 方法详解

问题定义：基于大型语言模型的智能体在长程任务中面临缺乏全局规划的问题，导致智能体进行无意义的试错，并可能产生与环境不符的“幻觉”动作。现有方法要么依赖大量人工标注数据，要么需要耗费大量计算资源进行强化学习，效率较低且成本较高。

核心思路：EAGLET的核心思路是训练一个可插拔的全局规划器，该规划器能够为执行器提供高质量的行动计划。通过先规划后执行的方式，避免了执行器在长程任务中盲目探索，提高了任务完成的效率和成功率。该方法旨在以较低的成本和较少的人工干预，提升智能体的规划能力。

技术框架：EAGLET包含两个主要阶段：1) 规划器初始化：利用先进的LLM生成候选计划，并通过提出的同源共识过滤策略筛选出高质量的计划，然后使用这些计划对规划器进行微调，作为冷启动。2) 规划器强化：使用基于规则的强化学习方法，利用执行器能力增益奖励进一步优化规划器。整体流程是，给定任务指令，规划器生成计划，执行器根据计划执行动作，环境反馈状态和奖励，强化学习算法根据奖励更新规划器。

关键创新：EAGLET的关键创新在于：1) 提出了同源共识过滤策略，用于从LLM生成的候选计划中筛选出高质量的计划，避免了人工标注的成本。2) 设计了一种新颖的执行器能力增益奖励，用于指导强化学习过程，使得规划器能够更好地适应不同难度的任务。3) 提出了一种高效的planner训练方法，显著降低了训练成本，同时避免了人工干预。

关键设计：同源共识过滤策略通过多次采样LLM生成的计划，并选择多个计划中都出现的步骤作为最终计划的一部分，从而提高计划的可靠性。执行器能力增益奖励基于执行器在执行计划后的状态变化来评估计划的质量，鼓励规划器生成能够有效提升执行器能力的计划。具体参数设置和网络结构信息在论文中未明确给出，属于未知信息。

🖼️ 关键图片

img_0

📊 实验亮点

EAGLET在三个长程智能体任务上取得了state-of-the-art的性能，显著优于现有方法。同时，EAGLET相比于基于强化学习的基线方法，训练成本降低了8倍，并且不需要人工干预或额外的训练数据，展示了其高效性和实用性。具体的性能提升数据和对比基线信息在论文中未详细给出，属于未知信息。

🎯 应用场景

EAGLET方法可应用于各种需要长程规划的智能体任务，例如机器人导航、游戏AI、任务调度等。该方法降低了训练成本和人工干预，使得在资源有限的情况下也能训练出高性能的智能体。未来，该方法有望推动智能体在复杂环境中的自主决策能力，并应用于智能家居、自动驾驶等领域。

📄 摘要（原文）

Agents based on large language models (LLMs) struggle with brainless trial-and-error and generating hallucinatory actions due to a lack of global planning in long-horizon tasks. In this paper, we introduce a plan-and-execute framework and propose EAGLET, an efficient and effective planner training method to enhance the executor agent's planning abilities without human effort. Specifically, we train a plug-and-play global planner through a two-step process: we first synthesize high-quality plans from an advanced LLM using our proposed homologous consensus filtering strategy, and apply fine-tuning as a cold start. Moreover, we further improve the planner with a rule-based reinforcement learning stage using a novel executor capability gain reward, ensuring it can handle task instructions of varying difficulty. Experiments on three long-horizon agent tasks show that executor agents equipped with our planner outperform existing methods, achieving new state-of-the-art performance. Meanwhile, EAGLET reduces training costs by 8x compared to RL-based baselines, and it does not require manual effort or extra training data, offering an efficient and effective solution.