AgentRefine: Enhancing Agent Generalization through Refinement Tuning

📄 arXiv: 2501.01702v2 📥 PDF

作者: Dayuan Fu, Keqing He, Yejie Wang, Wentao Hong, Zhuoma Gongque, Weihao Zeng, Wei Wang, Jingang Wang, Xunliang Cai, Weiran Xu

分类: cs.AI, cs.CL, cs.RO

发布日期: 2025-01-03 (更新: 2025-02-24)

备注: ICLR 2025

💡 一句话要点

AgentRefine：通过精炼调优增强LLM Agent的泛化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Agent调优 大型语言模型 泛化能力 指令调优 自我完善 强化学习 环境合成

📋 核心要点

  1. 现有Agent调优方法在未见过的环境中泛化能力不足，主要原因是过拟合现有环境和缺乏适应性。
  2. AgentRefine框架的核心思想是让模型通过观察轨迹来学习纠正自身的错误，提升泛化能力。
  3. AgentRefine在各种Agent任务上显著优于现有方法，并展现出更好的鲁棒性和推理多样性。

📝 摘要（中文）

基于大型语言模型（LLM）的Agent已被证明具有执行复杂任务的能力，但开源LLM与GPT系列等商业模型之间仍存在较大差距。本文致力于通过指令调优提高LLM Agent的泛化能力。研究发现，现有的Agent训练语料在内部评估集上表现良好，但在外部评估集上泛化失败。这些Agent调优工作面临严重的格式错误，并且经常长时间陷入相同的错误。分析表明，泛化能力差源于对少量手动Agent环境的过度拟合，以及缺乏对新情况的适应性。Agent难以处理错误的动作步骤，无法从经验中学习，而只是记忆现有的观察-动作关系。受此启发，提出了一种新的AgentRefine框架用于Agent调优，核心思想是使模型能够通过轨迹中的观察来学习纠正其错误。具体而言，提出了一个Agent合成框架，包含各种环境和任务，并提示一个强大的LLM根据环境反馈来改进其错误动作。AgentRefine在各种Agent任务的泛化能力方面显著优于最先进的Agent调优工作。它还具有更好的鲁棒性，可以生成多样化的推理过程。研究结果确立了Agent泛化与自我完善之间的相关性，并为未来的研究提供了一个新的范例。

🔬 方法详解

问题定义：现有基于LLM的Agent在特定环境下表现良好，但泛化能力差，无法适应新的环境和任务。主要痛点在于对少量人工设计的环境过度拟合，缺乏从错误中学习和自我纠正的能力，导致模型只是简单地记忆观察-动作关系，而不能真正理解任务。

核心思路：AgentRefine的核心思路是让Agent在训练过程中学习如何纠正自己的错误。通过观察环境反馈，模型可以识别并修正错误的动作，从而提高其泛化能力。这种自我完善机制使得Agent能够更好地适应新的环境和任务。

技术框架：AgentRefine框架主要包含两个阶段：Agent合成和精炼调优。Agent合成阶段旨在创建多样化的训练环境和任务，以避免模型过拟合。精炼调优阶段则利用一个强大的LLM来根据环境反馈改进Agent的错误动作。整个流程包括：1）生成多样化的Agent环境和任务；2）Agent执行动作并获得环境反馈；3）利用LLM分析环境反馈并识别错误动作；4）LLM生成修正后的动作；5）Agent根据修正后的动作更新策略。

关键创新：AgentRefine的关键创新在于引入了自我完善机制，使Agent能够从错误中学习并提高泛化能力。与传统的Agent调优方法不同，AgentRefine不仅关注如何让Agent在现有环境中表现良好，更关注如何让Agent适应新的环境和任务。此外，Agent合成框架也为Agent的训练提供了更多样化的数据。

关键设计：AgentRefine的关键设计包括：1）Agent合成框架，用于生成多样化的训练环境和任务；2）利用强大的LLM作为“导师”，根据环境反馈来指导Agent纠正错误；3）设计合适的提示（prompt）来引导LLM进行错误分析和动作修正；4）采用合适的损失函数来鼓励Agent学习自我完善。

🖼️ 关键图片

img_0

📊 实验亮点

AgentRefine在多个Agent任务上取得了显著的性能提升，特别是在泛化能力方面。实验结果表明，AgentRefine在未见过的环境中的表现明显优于现有的Agent调优方法。此外，AgentRefine还展现出更好的鲁棒性，能够更好地应对环境扰动，并生成更多样化的推理过程。

🎯 应用场景

AgentRefine具有广泛的应用前景，可用于开发更智能、更通用的Agent，应用于机器人控制、游戏AI、自动化客服、智能助手等领域。通过提高Agent的泛化能力，可以降低Agent的开发和部署成本，使其能够更好地适应复杂多变的环境，从而实现更广泛的应用。

📄 摘要（原文）

Large Language Model (LLM) based agents have proved their ability to perform complex tasks like humans. However, there is still a large gap between open-sourced LLMs and commercial models like the GPT series. In this paper, we focus on improving the agent generalization capabilities of LLMs via instruction tuning. We first observe that the existing agent training corpus exhibits satisfactory results on held-in evaluation sets but fails to generalize to held-out sets. These agent-tuning works face severe formatting errors and are frequently stuck in the same mistake for a long while. We analyze that the poor generalization ability comes from overfitting to several manual agent environments and a lack of adaptation to new situations. They struggle with the wrong action steps and can not learn from the experience but just memorize existing observation-action relations. Inspired by the insight, we propose a novel AgentRefine framework for agent-tuning. The core idea is to enable the model to learn to correct its mistakes via observation in the trajectory. Specifically, we propose an agent synthesis framework to encompass a diverse array of environments and tasks and prompt a strong LLM to refine its error action according to the environment feedback. AgentRefine significantly outperforms state-of-the-art agent-tuning work in terms of generalization ability on diverse agent tasks. It also has better robustness facing perturbation and can generate diversified thought in inference. Our findings establish the correlation between agent generalization and self-refinement and provide a new paradigm for future research.