Contextual Experience Replay for Self-Improvement of Language Agents

📄 arXiv: 2506.06698v1 📥 PDF

作者: Yitao Liu, Chenglei Si, Karthik Narasimhan, Shunyu Yao

分类: cs.AI, cs.CL, cs.CV, cs.LG

发布日期: 2025-06-07

备注: Accepted to ACL 2025. 20 pages

💡 一句话要点

提出上下文经验回放(CER)，提升LLM Agent在复杂环境中的自适应能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言Agent 上下文学习 经验回放 自提升 序列决策

📋 核心要点

  1. 现有LLM Agent在复杂序列决策任务中，因缺乏环境特定经验而表现不佳，且缺乏持续学习机制。
  2. 论文提出上下文经验回放(CER)框架，通过动态记忆缓冲区积累和合成经验，提升Agent适应性。
  3. CER在WebArena和VisualWebArena上表现出色，显著提升了GPT-4o Agent的成功率。

📝 摘要（中文）

大型语言模型(LLM) Agent已被应用于诸如网页导航等序列决策任务，但由于缺乏特定于环境的经验，它们在这些复杂任务中常常表现不佳。此外，当前的LLM Agent没有被设计为在推理时持续地从过去的经验中学习，而这对于它们获得这些特定于环境的经验至关重要。为了解决这个问题，我们提出了一种免训练框架——上下文经验回放(CER)，以实现语言Agent在其上下文窗口中的高效自提升。具体来说，CER将过去的经验累积并合成为一个动态记忆缓冲区。这些经验涵盖了环境动态和常见的决策模式，允许Agent在新任务中检索相关知识并增强自身，从而提高它们在复杂环境中的适应性。我们在具有挑战性的WebArena和VisualWebArena基准上评估了CER。在VisualWebArena上，CER取得了31.9%的具有竞争力的性能。在WebArena上，CER也获得了36.7%的具有竞争力的平均成功率，相对提高了GPT-4o Agent基线51.0%的成功率。我们还对其进行了全面的分析，以证明其效率、有效性并更好地理解它。

🔬 方法详解

问题定义：现有LLM Agent在复杂环境（如网页导航）中进行序列决策时，面临缺乏环境特定经验的问题。它们通常依赖于预训练知识，难以适应环境的动态变化和任务的复杂性。此外，现有Agent通常不具备在推理过程中持续学习和改进的能力，无法有效利用过去的经验来提升性能。这限制了它们在实际应用中的表现。

核心思路：论文的核心思路是利用上下文经验回放(CER)机制，使LLM Agent能够从过去的经验中学习并改进自身。CER通过维护一个动态记忆缓冲区，存储Agent与环境交互产生的经验，包括环境动态和决策模式。当Agent遇到新的任务时，可以从记忆缓冲区中检索相关经验，并将其融入到当前的决策过程中，从而提高适应性和性能。这种方法无需额外的训练，可以在推理阶段直接应用。

技术框架：CER框架主要包含以下几个阶段：1) 经验积累：Agent与环境交互，并将交互过程中的状态、动作、奖励等信息存储到记忆缓冲区中。2) 经验合成：定期对记忆缓冲区中的经验进行合成，提取关键信息，减少冗余，提高检索效率。3) 经验检索：当Agent遇到新的任务时，根据任务描述和当前状态，从记忆缓冲区中检索相关经验。4) 经验融合：将检索到的经验融入到Agent的决策过程中，例如通过prompting的方式，引导Agent做出更明智的决策。

关键创新：CER的关键创新在于其免训练的自提升机制。与传统的强化学习方法不同，CER不需要额外的训练数据和计算资源，可以在推理阶段直接应用。此外，CER通过动态记忆缓冲区和经验合成机制，有效地管理和利用过去的经验，提高了Agent的适应性和泛化能力。这种方法特别适用于资源受限或难以获取大量训练数据的场景。

关键设计：CER的关键设计包括：1) 记忆缓冲区的大小和更新策略：需要根据环境的复杂性和任务的难度进行调整，以保证记忆缓冲区能够存储足够多的相关经验，并及时更新过时的经验。2) 经验合成算法：需要设计有效的算法，从原始经验中提取关键信息，减少冗余，提高检索效率。3) 经验检索算法：需要设计高效的检索算法，根据任务描述和当前状态，快速准确地从记忆缓冲区中检索相关经验。4) 经验融合策略：需要设计合适的融合策略，将检索到的经验融入到Agent的决策过程中，例如通过prompting、微调等方式。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

CER在WebArena和VisualWebArena基准测试中取得了显著的性能提升。在VisualWebArena上，CER达到了31.9%的成功率。在WebArena上，CER的平均成功率为36.7%，相对于GPT-4o Agent基线提高了51.0%。这些结果表明，CER能够有效地提升LLM Agent在复杂环境中的自适应能力。

🎯 应用场景

该研究成果可广泛应用于需要智能Agent进行序列决策的复杂环境，例如网页导航、自动化客服、智能家居控制、机器人任务规划等。通过持续学习和利用过去的经验，Agent能够更好地适应环境变化，提高任务完成效率和用户满意度。未来，该方法有望扩展到更多领域，例如自动驾驶、金融交易等。

📄 摘要（原文）

Large language model (LLM) agents have been applied to sequential decision-making tasks such as web navigation, but without any environment-specific experiences, they often fail in these complex tasks. Moreover, current LLM agents are not designed to continually learn from past experiences during inference time, which could be crucial for them to gain these environment-specific experiences. To address this, we propose Contextual Experience Replay (CER), a training-free framework to enable efficient self-improvement for language agents in their context window. Specifically, CER accumulates and synthesizes past experiences into a dynamic memory buffer. These experiences encompass environment dynamics and common decision-making patterns, allowing the agents to retrieve and augment themselves with relevant knowledge in new tasks, enhancing their adaptability in complex environments. We evaluate CER on the challenging WebArena and VisualWebArena benchmarks. On VisualWebArena, CER achieves a competitive performance of 31.9%. On WebArena, CER also gets a competitive average success rate of 36.7%, relatively improving the success rate of the GPT-4o agent baseline by 51.0%. We also conduct a comprehensive analysis on it to prove its efficiency, validity and understand it better.