STeCa: Step-level Trajectory Calibration for LLM Agent Learning

📄 arXiv: 2502.14276v2 📥 PDF

作者: Hanlin Wang, Jian Wang, Chak Tou Leong, Wenjie Li

分类: cs.LG, cs.AI, cs.CL

发布日期: 2025-02-20 (更新: 2025-05-29)

备注: Accepted by ACL2025 Findings

🔗 代码/项目: GITHUB

💡 一句话要点

STeCa：面向LLM Agent学习的步级轨迹校准框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM Agent 强化学习 轨迹校准 长时程任务 步级奖励 行为克隆 偏好学习

📋 核心要点

  1. 现有LLM Agent学习方法在长时程任务中面临挑战，次优动作累积导致Agent偏离正确轨迹。
  2. STeCa通过步级奖励比较识别次优动作，并利用LLM生成校准轨迹，提升Agent决策能力。
  3. 实验结果表明，STeCa显著优于现有方法，并提高了Agent完成任务的鲁棒性。

📝 摘要（中文）

基于大型语言模型（LLM）的Agent在通过与环境动态交互来解决复杂任务方面展现出潜力。现有工作主要集中于从专家演示中进行行为克隆，或通过探索性轨迹采样进行偏好学习。然而，这些方法通常难以处理长时程任务，在这些任务中，次优动作会逐步累积，导致Agent偏离正确的任务轨迹。为了解决这个问题，我们强调了及时校准的重要性，以及自动构建校准轨迹以训练Agent的需求。我们提出了一种新颖的LLM Agent学习框架——步级轨迹校准（STeCa）。具体来说，STeCa通过探索期间的步级奖励比较来识别次优动作。它利用LLM驱动的反馈构建校准轨迹，使Agent能够从改进的决策过程中学习。最后，我们将这些校准轨迹与成功的轨迹结合起来进行强化训练。大量实验表明，STeCa显著优于现有方法。进一步的分析表明，及时校准使Agent能够以更高的鲁棒性完成任务。我们的代码和数据可在https://github.com/WangHanLinHenry/STeCa获取。

🔬 方法详解

问题定义：论文旨在解决LLM Agent在长时程任务中由于次优动作累积而偏离正确轨迹的问题。现有方法，如行为克隆和偏好学习，难以有效应对这种逐步累积的误差，导致Agent无法完成复杂任务。

核心思路：论文的核心思路是及时校准Agent的轨迹，使其能够从错误中学习并改进决策过程。通过在每一步比较奖励，识别次优动作，并利用LLM生成更优的校准轨迹，从而引导Agent学习正确的行为。

技术框架：STeCa框架包含以下几个主要阶段：1) Agent与环境交互并探索轨迹；2) 通过步级奖励比较识别次优动作；3) 利用LLM对次优动作进行反思，生成校准轨迹；4) 将校准轨迹与成功轨迹结合，进行强化学习训练。

关键创新：STeCa的关键创新在于引入了步级轨迹校准机制，能够及时发现并纠正Agent的错误行为。与传统的轨迹优化方法不同，STeCa利用LLM的推理能力生成高质量的校准轨迹，从而更有效地提升Agent的性能。

关键设计：STeCa的关键设计包括：1) 步级奖励比较的阈值设置，用于判断动作是否次优；2) LLM的prompt设计，用于引导LLM生成合理的校准动作；3) 强化学习算法的选择，用于结合校准轨迹和成功轨迹进行训练。具体的损失函数和网络结构细节在论文中未明确给出，属于未知信息。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，STeCa显著优于现有方法，在多个任务上取得了更好的性能。具体的数据和对比基线在论文中给出，但此处未提供具体数值。论文强调，STeCa能够提高Agent完成任务的鲁棒性，使其能够更好地应对环境变化和干扰。

🎯 应用场景

STeCa框架可应用于各种需要LLM Agent进行决策的任务，例如机器人控制、游戏AI、自动化流程等。通过及时校准Agent的轨迹，可以提高Agent在复杂环境中的适应性和鲁棒性，使其能够更好地完成任务。该研究对于提升LLM Agent的智能化水平具有重要意义。

📄 摘要（原文）

Large language model (LLM)-based agents have shown promise in tackling complex tasks by interacting dynamically with the environment. Existing work primarily focuses on behavior cloning from expert demonstrations or preference learning through exploratory trajectory sampling. However, these methods often struggle to address long-horizon tasks, where suboptimal actions accumulate step by step, causing agents to deviate from correct task trajectories. To address this, we highlight the importance of timely calibration and the need to automatically construct calibration trajectories for training agents. We propose Step-Level Trajectory Calibration (STeCa), a novel framework for LLM agent learning. Specifically, STeCa identifies suboptimal actions through a step-level reward comparison during exploration. It constructs calibrated trajectories using LLM-driven reflection, enabling agents to learn from improved decision-making processes. We finally leverage these calibrated trajectories with successful trajectories for reinforced training. Extensive experiments demonstrate that STeCa significantly outperforms existing methods. Further analysis highlights that timely calibration enables agents to complete tasks with greater robustness. Our code and data are available at https://github.com/WangHanLinHenry/STeCa.