Better than Your Teacher: LLM Agents that learn from Privileged AI Feedback

📄 arXiv: 2410.05434v1 📥 PDF

作者: Sanjiban Choudhury, Paloma Sodhi

分类: cs.LG, cs.AI

发布日期: 2024-10-07

备注: 34 pages, 6 figures, 5 tables

💡 一句话要点

LEAP：利用特权AI反馈提升LLM Agent决策能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM Agent 决策能力 特权信息 迭代学习 AI反馈 知识蒸馏 行为克隆 强化学习

📋 核心要点

  1. 现有LLM Agent缺乏从任务执行错误中自动改进的机制，限制了其在复杂决策任务中的应用。
  2. LEAP框架利用具备特权信息的AI专家教师提供反馈，迭代微调LLM Agent，提升其决策能力。
  3. 实验表明，LEAP能使弱模型超越强模型，并在多种决策任务上显著优于现有基线方法。

📝 摘要（中文）

大型语言模型（LLM）在决策方面表现出色，但现有方法缺乏从任务执行错误中自动改进的机制。我们提出了LEAP，一个迭代微调框架，利用来自AI专家教师的反馈持续改进LLM Agent。核心思想是为专家教师配备特权状态——训练时可用但测试时隐藏的信息。这使得即使是较弱的专家也能提供精确指导，显著提高学生Agent的性能，而无需在测试时访问特权信息。我们在各种决策基准上评估LEAP，包括文本游戏（ALFWorld）、网页导航（WebShop）和交互式编码（Intercode Bash）。实验表明，LEAP（1）优于行为克隆和ReAct基线；（2）使弱学生模型（如Llama3-8B）超越强教师模型（GPT4-o）的性能；（3）允许弱模型使用自身的特权版本进行自我改进。我们还提供了理论分析，表明LEAP的成功取决于平衡特权信息与学生的可实现性，并通过实验验证了这一点。代码可在https://leap-llm.github.io获取。

🔬 方法详解

问题定义：现有LLM Agent在复杂决策任务中，难以从自身执行错误中学习并改进。行为克隆等方法依赖于专家数据，但难以覆盖所有情况。强化学习方法探索成本高昂，且奖励函数设计困难。因此，如何让LLM Agent能够高效地从错误中学习，持续提升决策能力是一个关键问题。

核心思路：LEAP的核心思路是利用具备“特权信息”的AI专家教师来指导LLM Agent的学习。特权信息是指在训练阶段可以访问，但在测试阶段不可用的信息。通过让教师基于特权信息提供更精确的反馈，可以有效指导学生Agent的学习，即使教师本身能力较弱。这种方式类似于人类学习中，老师可以提供额外的提示或背景知识，帮助学生理解问题。

技术框架：LEAP框架包含以下几个主要步骤：1) 学生Agent执行任务并产生轨迹；2) 具备特权信息的教师Agent评估学生Agent的轨迹，并提供反馈（例如，纠正错误动作或提供更优策略）；3) 使用教师Agent的反馈数据微调学生Agent；4) 重复上述步骤，迭代提升学生Agent的性能。整个过程类似于一个师生互动的学习过程，教师不断提供指导，学生不断改进。

关键创新：LEAP的关键创新在于引入了“特权信息”的概念，并将其应用于LLM Agent的学习过程中。与传统的行为克隆或强化学习方法不同，LEAP不需要完美的专家数据或精心设计的奖励函数。通过利用特权信息，即使是较弱的教师Agent也能提供有效的指导，从而显著提升学生Agent的性能。此外，LEAP框架具有迭代学习的特性，可以不断从错误中学习并改进。

关键设计：LEAP的关键设计包括：1) 如何选择或构建具备特权信息的教师Agent；2) 如何设计教师Agent的反馈机制，使其能够有效地指导学生Agent的学习；3) 如何平衡特权信息与学生Agent的可实现性，避免过度依赖特权信息而导致泛化能力下降。论文中通过实验验证了不同特权信息和反馈机制对LEAP性能的影响，并提出了相应的建议。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LEAP框架在ALFWorld、WebShop和Intercode Bash等多个决策基准上均取得了显著的性能提升。例如，LEAP能够使Llama3-8B模型的性能超越GPT4-o模型，证明了其强大的学习能力。此外，LEAP还能够通过自身的特权版本进行自我改进，进一步提升性能。与行为克隆和ReAct等基线方法相比，LEAP在所有基准上均取得了显著的优势。

🎯 应用场景

LEAP框架具有广泛的应用前景，可以应用于各种需要决策能力的LLM Agent，例如：游戏AI、网页导航、机器人控制、智能客服等。通过利用特权信息，可以显著提升LLM Agent在复杂环境中的决策能力和鲁棒性，使其能够更好地适应实际应用场景。此外，LEAP框架还可以用于知识蒸馏，将强模型的知识迁移到弱模型，降低部署成本。

📄 摘要（原文）

While large language models (LLMs) show impressive decision-making abilities, current methods lack a mechanism for automatic self-improvement from errors during task execution. We propose LEAP, an iterative fine-tuning framework that continually improves LLM agents using feedback from AI expert teachers. Our key insight is to equip the expert teachers with a privileged state -- information that is available during training but hidden at test time. This allows even weak experts to provide precise guidance, significantly improving the student agent's performance without access to privileged information at test time. We evaluate LEAP on diverse decision-making benchmarks, including text-based games (ALFWorld), web navigation (WebShop), and interactive coding (Intercode Bash). Our experiments show that LEAP (1) outperforms behavior cloning and ReAct baselines (2) enables weak student models (e.g., Llama3-8B) to exceed the performance of strong teacher models (GPT4-o), and (3) allows weak models to self-improve using privileged versions of themselves. We also provide a theoretical analysis showing that LEAP's success hinges on balancing privileged information with the student's realizability, which we empirically validate. Our code is available at https://leap-llm.github.io