Sequential Large Language Model-Based Hyper-parameter Optimization

📄 arXiv: 2410.20302v3 📥 PDF

作者: Kanan Mahammadli, Seyda Ertekin

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-10-27 (更新: 2025-01-02)

💡 一句话要点

SLLMBO：利用大语言模型进行超参数优化，提升优化效率与鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 超参数优化 大语言模型 贝叶斯优化 树状结构Parzen估计器 探索与利用

📋 核心要点

  1. 现有完全基于LLM的超参数优化方法和传统贝叶斯优化方法存在局限性，导致优化效果不佳。
  2. SLLMBO框架利用LLM进行超参数优化，结合动态搜索空间调整和LLM-TPE采样器，平衡探索与利用。
  3. 实验结果表明，SLLMBO在多个表格任务上优于现有方法，尤其是在平衡探索与利用方面表现出色。

📝 摘要（中文）

本研究提出了一种名为SLLMBO的创新框架，该框架利用大型语言模型（LLM）进行超参数优化（HPO），集成了动态搜索空间适应性、增强的参数空间利用以及一种新颖的LLM树状结构Parzen估计器（LLM-TPE）采样器。通过解决最近完全基于LLM的方法和传统贝叶斯优化（BO）的局限性，SLLMBO实现了更稳健的优化。该研究对包括GPT-3.5-Turbo、GPT-4o、Claude-Sonnet-3.5和Gemini-1.5-Flash在内的多种LLM进行了全面基准测试，扩展了先前的工作，并将SLLMBO确立为第一个对用于HPO的各种LLM进行基准测试的框架。通过将LLM在参数初始化方面的既有优势与本研究中展示的利用能力相结合，以及TPE的探索能力，LLM-TPE采样器实现了平衡的探索-利用权衡，降低了API成本，并减轻了过早停止，从而实现了更有效的参数搜索。在分类和回归的14个表格任务中，LLM-TPE采样器优于完全基于LLM的方法，并在9个任务中取得了优于BO方法的结果。在预算受限的情况下测试提前停止显示出具有竞争力的性能，表明基于LLM的方法通常受益于扩展迭代以获得最佳结果。这项工作为未来研究探索开源LLM、HPO中LLM结果的可重复性以及在复杂数据集（如图像分类、分割和机器翻译）上对SLLMBO进行基准测试奠定了基础。

🔬 方法详解

问题定义：论文旨在解决超参数优化（HPO）问题，现有方法如完全基于LLM的方法和传统贝叶斯优化（BO）在探索和利用之间存在不平衡，导致优化效率低下，容易陷入局部最优，或者API调用成本过高。

核心思路：论文的核心思路是结合LLM在参数初始化方面的优势和TPE在探索方面的能力，设计一种新的LLM-TPE采样器，以实现探索和利用之间的平衡。通过动态调整搜索空间，进一步提高优化效率和鲁棒性。

技术框架：SLLMBO框架主要包含以下几个阶段：1) 使用LLM进行参数初始化，利用LLM的先验知识快速定位有希望的参数空间；2) 使用LLM-TPE采样器进行参数采样，该采样器结合了LLM和TPE的优点，在探索和利用之间进行平衡；3) 动态调整搜索空间，根据已有的优化结果，缩小或调整搜索范围，提高优化效率；4) 评估采样参数的性能，并更新LLM-TPE采样器。

关键创新：论文的关键创新在于LLM-TPE采样器，它将LLM的参数初始化能力与TPE的探索能力相结合，克服了传统BO方法和完全基于LLM的方法的局限性。此外，动态搜索空间调整也是一个重要的创新点，它可以根据优化结果自适应地调整搜索范围。

关键设计：LLM-TPE采样器的具体实现细节未知，但可以推测其关键设计包括：1) 如何将LLM的输出转化为TPE可以使用的先验分布；2) 如何平衡LLM的先验知识和TPE的探索能力；3) 如何动态调整搜索空间的大小和形状。损失函数和网络结构取决于具体的任务，但SLLMBO框架本身并不依赖于特定的损失函数或网络结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM-TPE采样器在14个表格任务中，优于完全基于LLM的方法，并在9个任务中取得了优于BO方法的结果。在预算受限的情况下，SLLMBO也表现出具有竞争力的性能，表明基于LLM的方法通常受益于扩展迭代以获得最佳结果。

🎯 应用场景

SLLMBO可应用于各种机器学习模型的超参数优化，尤其是在计算资源有限或API调用成本较高的情况下。该研究的成果可以帮助研究人员和工程师更高效地训练和部署高性能的机器学习模型，加速人工智能技术的应用。

📄 摘要（原文）

This study introduces SLLMBO, an innovative framework leveraging large language models (LLMs) for hyperparameter optimization (HPO), incorporating dynamic search space adaptability, enhanced parameter space exploitation, and a novel LLM-tree-structured parzen estimator (LLM-TPE) sampler. By addressing limitations in recent fully LLM-based methods and traditional bayesian optimization (BO), SLLMBO achieves more robust optimization. This comprehensive benchmarking evaluates multiple LLMs, including GPT-3.5-Turbo, GPT-4o, Claude-Sonnet-3.5, and Gemini-1.5-Flash, extending prior work and establishing SLLMBO as the first framework to benchmark a diverse set of LLMs for HPO. By integrating LLMs' established strengths in parameter initialization with the exploitation abilities demonstrated in this study, alongside TPE's exploration capabilities, the LLM-TPE sampler achieves a balanced exploration-exploitation trade-off, reduces API costs, and mitigates premature early stoppings for more effective parameter searches. Across 14 tabular tasks in classification and regression, the LLM-TPE sampler outperformed fully LLM-based methods and achieved superior results over BO methods in 9 tasks. Testing early stopping in budget-constrained scenarios demonstrated competitive performance, indicating that LLM-based methods generally benefit from extended iterations for optimal results. This work lays the foundation for future research exploring open-source LLMs, reproducibility of LLM results in HPO, and benchmarking SLLMBO on complex datasets, such as image classification, segmentation, and machine translation.