AgentTuning: Enabling Generalized Agent Abilities for LLMs

📄 arXiv: 2310.12823v2 📥 PDF

作者: Aohan Zeng, Mingdao Liu, Rui Lu, Bowen Wang, Xiao Liu, Yuxiao Dong, Jie Tang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-10-19 (更新: 2023-10-22)

备注: 31 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出AgentTuning以增强LLM的智能体能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 智能体能力 指令调优 AgentTuning Llama 2 混合调优 数据集构建 模型训练

📋 核心要点

  1. 现有大型语言模型在复杂任务中的智能体能力不足，无法与商业模型竞争。
  2. 提出AgentTuning，通过构建AgentInstruct数据集和混合指令调优策略，提升LLM的智能体能力。
  3. 实验表明，AgentLM-70B在未见任务上性能接近GPT-3.5-turbo，展示了显著的智能体能力提升。

📝 摘要（中文）

开放的大型语言模型（LLMs）在各种任务中表现出色，但在作为智能体处理复杂现实任务时，远不及商业模型如ChatGPT和GPT-4。现有的提示方法虽然众多，但缺乏针对提升LLM自身智能体能力的研究。本文提出AgentTuning，一种简单且通用的方法，旨在增强LLM的智能体能力，同时保持其通用能力。我们构建了AgentInstruct，一个轻量级的指令调优数据集，结合开放领域的指令，采用混合指令调优策略。通过对Llama 2系列进行调优，生成了AgentLM。评估结果表明，AgentTuning在不损害通用能力的情况下，显著提升了LLM的智能体能力。AgentLM-70B在未见过的智能体任务上与GPT-3.5-turbo相当，展示了其通用智能体能力。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型在作为智能体处理复杂任务时能力不足的问题。尽管已有多种提示方法，但缺乏针对提升LLM自身智能体能力的研究，导致其在实际应用中表现不佳。

核心思路：论文提出的AgentTuning方法，通过构建高质量的指令调优数据集AgentInstruct，并结合开放领域的指令，采用混合指令调优策略，旨在在不损害LLM通用能力的前提下，增强其智能体能力。

技术框架：整体架构包括数据集构建、指令调优和模型训练三个主要阶段。首先，构建AgentInstruct数据集以提供高质量的交互轨迹；其次，采用混合指令调优策略，将AgentInstruct与开放领域指令结合；最后，对Llama 2系列进行调优，生成AgentLM模型。

关键创新：最重要的技术创新在于AgentTuning方法的提出，它通过专注于智能体能力的提升而不损害通用能力，填补了现有研究的空白。与传统方法相比，AgentTuning更为简单且有效。

关键设计：在参数设置上，采用轻量级的指令调优数据集AgentInstruct，并结合多种开放领域指令，确保模型在多样化任务中的适应性。损失函数和网络结构方面，具体细节未在摘要中详细说明，需参考原文以获取更多信息。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，AgentLM-70B在未见过的智能体任务上与GPT-3.5-turbo的性能相当，表明AgentTuning显著提升了LLM的智能体能力。具体而言，AgentLM在多个任务中表现出色，展示了其通用智能体能力的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能客服、自动化任务处理和复杂决策支持等。通过提升LLM的智能体能力，AgentTuning为各种实际应用提供了更强大的支持，能够在多种复杂场景中有效执行任务，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Open large language models (LLMs) with great performance in various tasks have significantly advanced the development of LLMs. However, they are far inferior to commercial models such as ChatGPT and GPT-4 when acting as agents to tackle complex tasks in the real world. These agent tasks employ LLMs as the central controller responsible for planning, memorization, and tool utilization, necessitating both fine-grained prompting methods and robust LLMs to achieve satisfactory performance. Though many prompting methods have been proposed to complete particular agent tasks, there is lack of research focusing on improving the agent capabilities of LLMs themselves without compromising their general abilities. In this work, we present AgentTuning, a simple and general method to enhance the agent abilities of LLMs while maintaining their general LLM capabilities. We construct AgentInstruct, a lightweight instruction-tuning dataset containing high-quality interaction trajectories. We employ a hybrid instruction-tuning strategy by combining AgentInstruct with open-source instructions from general domains. AgentTuning is used to instruction-tune the Llama 2 series, resulting in AgentLM. Our evaluations show that AgentTuning enables LLMs' agent capabilities without compromising general abilities. The AgentLM-70B is comparable to GPT-3.5-turbo on unseen agent tasks, demonstrating generalized agent capabilities. We open source the AgentInstruct and AgentLM-7B, 13B, and 70B models at https://github.com/THUDM/AgentTuning, serving open and powerful alternatives to commercial LLMs for agent tasks.