AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML

📄 arXiv: 2410.02958v2 📥 PDF

作者: Patara Trirat, Wonyong Jeong, Sung Ju Hwang

分类: cs.LG, cs.AI, cs.CL, cs.MA

发布日期: 2024-10-03 (更新: 2025-06-06)

备注: ICML 2025, Project Page: https://deepauto-ai.github.io/automl-agent

💡 一句话要点

AutoML-Agent：一个用于全流程AutoML的多智能体LLM框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AutoML 多智能体系统 大型语言模型 自动化机器学习 检索增强学习

📋 核心要点

  1. 现有AutoML系统设置复杂，需要专业知识，耗时且需要大量人工干预，限制了非专业用户的使用。
  2. AutoML-Agent利用多智能体协作，将AutoML流程分解为子任务，并使用检索增强规划来寻找更优方案。
  3. 实验结果表明，AutoML-Agent在自动化全流程AutoML方面具有更高的成功率，并在多个领域表现出良好的性能。

📝 摘要（中文）

本文提出AutoML-Agent，一个新颖的多智能体框架，专为全流程AutoML设计，即从数据检索到模型部署。AutoML-Agent接收用户的任务描述，促进专业LLM智能体之间的协作，并交付可直接部署的模型。与现有工作不同，本文引入检索增强的规划策略来增强探索，以搜索更优的方案，而非设计单一计划。每个计划被分解为子任务（例如，数据预处理和神经网络设计），每个子任务由专门的智能体并行解决，从而提高搜索效率。此外，本文提出多阶段验证来验证执行结果，并指导代码生成LLM实现成功的解决方案。在七个下游任务和十四个数据集上的大量实验表明，AutoML-Agent在自动化整个AutoML流程方面取得了更高的成功率，并在不同领域中产生了具有良好性能的系统。

🔬 方法详解

问题定义：现有的AutoML系统通常需要用户具备专业的技术知识才能进行配置和使用，这增加了AutoML的使用门槛，使得非专业用户难以利用AutoML技术来解决实际问题。此外，现有方法通常只关注AI开发流程中的特定环节，未能充分利用LLM的潜力实现全流程的自动化。

核心思路：AutoML-Agent的核心思路是将AutoML流程分解为多个子任务，并为每个子任务分配一个专门的LLM智能体。这些智能体通过协作完成各自的任务，最终实现全流程的自动化。此外，AutoML-Agent还引入了检索增强的规划策略，以探索更优的解决方案。

技术框架：AutoML-Agent框架主要包含以下几个模块：1) 任务描述接收模块：接收用户的任务描述。2) 检索增强规划模块：利用检索增强的规划策略生成多个候选方案。3) 多智能体协作模块：将每个方案分解为子任务，并分配给相应的LLM智能体并行执行。4) 多阶段验证模块：验证智能体的执行结果，并指导代码生成LLM实现成功的解决方案。5) 模型部署模块：将最终生成的模型部署到目标平台。

关键创新：AutoML-Agent的关键创新在于其多智能体协作和检索增强规划策略。多智能体协作使得每个智能体可以专注于解决特定的子任务，从而提高效率。检索增强规划策略则可以探索更优的解决方案，避免陷入局部最优。与现有方法相比，AutoML-Agent能够实现全流程的自动化，并降低AutoML的使用门槛。

关键设计：AutoML-Agent的关键设计包括：1) 智能体的Prompt设计：针对不同的子任务，设计不同的Prompt来引导LLM智能体生成正确的代码。2) 检索增强规划策略：利用外部知识库来增强规划能力，从而生成更优的解决方案。3) 多阶段验证机制：通过多阶段验证来确保智能体生成的代码的正确性。

🖼️ 关键图片

img_0

📊 实验亮点

AutoML-Agent在七个下游任务和十四个数据集上进行了广泛的实验。实验结果表明，AutoML-Agent在自动化整个AutoML流程方面取得了更高的成功率，并在不同领域中产生了具有良好性能的系统。具体性能数据未知，但论文强调了其在多样化任务上的通用性和有效性。

🎯 应用场景

AutoML-Agent可应用于各种需要自动化机器学习流程的场景，例如：企业可以使用AutoML-Agent快速构建数据驱动的解决方案，而无需聘请专业的机器学习工程师。科研人员可以使用AutoML-Agent加速模型开发和实验过程。该框架降低了AutoML的使用门槛，使更多人能够利用AI技术解决实际问题，推动AI技术的普及和应用。

📄 摘要（原文）

Automated machine learning (AutoML) accelerates AI development by automating tasks in the development pipeline, such as optimal model search and hyperparameter tuning. Existing AutoML systems often require technical expertise to set up complex tools, which is in general time-consuming and requires a large amount of human effort. Therefore, recent works have started exploiting large language models (LLM) to lessen such burden and increase the usability of AutoML frameworks via a natural language interface, allowing non-expert users to build their data-driven solutions. These methods, however, are usually designed only for a particular process in the AI development pipeline and do not efficiently use the inherent capacity of the LLMs. This paper proposes AutoML-Agent, a novel multi-agent framework tailored for full-pipeline AutoML, i.e., from data retrieval to model deployment. AutoML-Agent takes user's task descriptions, facilitates collaboration between specialized LLM agents, and delivers deployment-ready models. Unlike existing work, instead of devising a single plan, we introduce a retrieval-augmented planning strategy to enhance exploration to search for more optimal plans. We also decompose each plan into sub-tasks (e.g., data preprocessing and neural network design) each of which is solved by a specialized agent we build via prompting executing in parallel, making the search process more efficient. Moreover, we propose a multi-stage verification to verify executed results and guide the code generation LLM in implementing successful solutions. Extensive experiments on seven downstream tasks using fourteen datasets show that AutoML-Agent achieves a higher success rate in automating the full AutoML process, yielding systems with good performance throughout the diverse domains.