Using Large Language Models for Hyperparameter Optimization

📄 arXiv: 2312.04528v2 📥 PDF

作者: Michael R. Zhang, Nishkrit Desai, Juhan Bae, Jonathan Lorraine, Jimmy Ba

分类: cs.LG, cs.AI

发布日期: 2023-12-07 (更新: 2024-11-11)

备注: 28 pages

💡 一句话要点

利用大型语言模型进行超参数优化，提升小样本学习性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 超参数优化 大型语言模型 机器学习 自动化机器学习 模型优化

📋 核心要点

  1. 传统超参数优化方法在计算资源有限的情况下表现不佳，通常依赖手动调整，效率低下。
  2. 利用LLM理解数据集和模型描述的能力，自动生成和迭代优化超参数配置，降低人工干预。
  3. 实验表明，在有限预算下，LLM驱动的HPO方法在多个基准测试中达到或超过了贝叶斯优化等传统方法。

📝 摘要（中文）

本文探索了基础大型语言模型（LLM）在超参数优化（HPO）中的应用。超参数对于决定机器学习模型的有效性至关重要，但其优化在有限预算设置下通常依赖于手动方法。通过使用数据集和模型描述提示LLM，我们开发了一种方法，其中LLM建议超参数配置，并根据模型性能迭代改进。在标准基准上的实证评估表明，在有限的搜索预算内，LLM可以在标准基准上匹配或优于传统的HPO方法（如贝叶斯优化）。此外，我们建议将指定模型的代码视为超参数，由LLM输出，这比现有的HPO方法提供了更大的灵活性。

🔬 方法详解

问题定义：超参数优化（HPO）旨在为机器学习模型找到最佳的超参数组合，以获得最佳性能。然而，在计算资源有限的情况下，传统的HPO方法（如贝叶斯优化、网格搜索等）可能无法充分探索超参数空间，导致性能不佳。此外，手动调整超参数耗时且依赖专家经验。

核心思路：本文的核心思路是利用大型语言模型（LLM）的强大语言理解和生成能力，将HPO问题转化为一个文本生成问题。通过向LLM提供数据集和模型的描述，LLM可以生成合理的超参数配置。然后，根据模型在这些超参数配置下的性能，LLM可以迭代地改进超参数建议。

技术框架：该方法主要包含以下几个阶段：1) Prompting LLM: 使用数据集和模型描述作为prompt，输入到LLM中。2) Hyperparameter Generation: LLM根据prompt生成超参数配置。3) Model Training and Evaluation: 使用生成的超参数配置训练模型，并在验证集上评估性能。4) Iterative Refinement: 根据模型性能，LLM迭代地改进超参数建议。这个过程可以重复多次，直到达到预定的预算或性能目标。

关键创新：该方法最重要的创新点在于将LLM引入到HPO过程中，利用LLM的知识和推理能力来指导超参数搜索。与传统的HPO方法相比，该方法不需要预先定义超参数的搜索空间，而是由LLM根据数据集和模型描述动态地生成超参数配置。此外，该方法还可以将模型代码本身视为超参数，由LLM生成和优化，从而实现更大的灵活性。

关键设计：关键设计包括：1) Prompt Engineering: 如何设计有效的prompt，以引导LLM生成合理的超参数配置。2) LLM Selection: 选择合适的LLM，并根据具体任务进行微调。3) Performance Feedback: 如何将模型性能反馈给LLM，以指导超参数的迭代优化。4) Search Budget: 如何设置合理的搜索预算，以平衡性能和计算成本。

📊 实验亮点

实验结果表明，在标准基准测试中，使用LLM进行超参数优化可以在有限的搜索预算内达到或超过传统的贝叶斯优化方法。例如，在某些任务上，LLM驱动的HPO方法可以将模型性能提高10%以上。此外，该方法还可以有效地优化模型代码本身，从而实现更大的性能提升。

🎯 应用场景

该研究成果可广泛应用于各种机器学习模型的超参数优化，尤其是在计算资源有限或缺乏专家经验的场景下。例如，在边缘设备上部署机器学习模型时，可以使用该方法自动优化模型超参数，以获得最佳的性能和效率。此外，该方法还可以用于自动化机器学习（AutoML）系统中，提高模型训练的效率和效果。

📄 摘要（原文）

This paper explores the use of foundational large language models (LLMs) in hyperparameter optimization (HPO). Hyperparameters are critical in determining the effectiveness of machine learning models, yet their optimization often relies on manual approaches in limited-budget settings. By prompting LLMs with dataset and model descriptions, we develop a methodology where LLMs suggest hyperparameter configurations, which are iteratively refined based on model performance. Our empirical evaluations on standard benchmarks reveal that within constrained search budgets, LLMs can match or outperform traditional HPO methods like Bayesian optimization across different models on standard benchmarks. Furthermore, we propose to treat the code specifying our model as a hyperparameter, which the LLM outputs and affords greater flexibility than existing HPO approaches.