LLaMEA-BO: A Large Language Model Evolutionary Algorithm for Automatically Generating Bayesian Optimization Algorithms

📄 arXiv: 2505.21034v1 📥 PDF

作者: Wenhu Li, Niki van Stein, Thomas Bäck, Elena Raponi

分类: cs.LG, cs.NE

发布日期: 2025-05-27

🔗 代码/项目: GITHUB

💡 一句话要点

提出LLaMEA-BO，利用大语言模型和进化算法自动生成贝叶斯优化算法。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 贝叶斯优化 大语言模型 进化算法 算法自动设计 黑盒优化

📋 核心要点

  1. 贝叶斯优化算法设计依赖专家知识，且手动设计耗时费力，缺乏自动化方法。
  2. 利用大语言模型生成BO算法代码，并结合进化策略进行迭代优化，自动探索算法空间。
  3. 实验表明，LLM生成的算法在多个benchmark上超越现有BO算法，并具备良好的泛化能力。

📝 摘要（中文）

贝叶斯优化(BO)是一类强大的算法，用于优化代价高昂的黑盒函数，但设计有效的BO算法仍然是一项需要专业知识的手动任务。大语言模型(LLM)的最新进展为自动化科学发现开辟了新途径，包括优化算法的自动设计。虽然之前的工作已经在优化循环中使用LLM或生成非BO算法，但我们面临一个新的挑战：使用LLM自动生成完整的BO算法代码。我们的框架使用进化策略来指导LLM生成Python代码，该代码保留了BO算法的关键组成部分：初始设计、代理模型和采集函数。LLM被提示生成多个候选算法，这些算法在COCO平台的黑盒优化基准(BBOB)测试套件上进行评估。根据它们的性能，选择、组合和通过受控提示变化进行突变，从而实现迭代改进。尽管没有额外的微调，LLM生成的算法在维度为5的19个(共24个)BBOB函数中优于最先进的BO基线，并且可以很好地推广到更高的维度和不同的任务(来自Bayesmark框架)。这项工作表明，LLM可以作为算法协同设计者，为自动化BO开发和加速新算法组合的发现提供新的范例。源代码可在https://github.com/Ewendawi/LLaMEA-BO获得。

🔬 方法详解

问题定义：论文旨在解决贝叶斯优化算法（BO）的手动设计问题。现有的BO算法设计高度依赖领域专家知识，需要大量人工干预和实验，效率低下且难以发现新的算法结构。因此，如何自动化地生成高性能的BO算法是一个重要的挑战。

核心思路：论文的核心思路是利用大语言模型（LLM）的代码生成能力，结合进化算法（EA）的搜索能力，自动探索BO算法的设计空间。通过LLM生成候选BO算法，并使用EA根据算法在benchmark上的性能进行选择、交叉和变异，从而迭代优化算法性能。

技术框架：LLaMEA-BO框架主要包含以下几个模块：1) LLM代码生成器：使用预训练的LLM（如GPT-3）生成Python代码，这些代码实现了BO算法的关键组件，包括初始设计、代理模型和采集函数。2) 进化策略：使用进化策略（ES）来指导LLM生成更好的BO算法。ES维护一个算法种群，并根据算法在BBOB benchmark上的性能进行选择、交叉和变异。3) 评估模块：使用COCO平台的BBOB benchmark来评估生成的BO算法的性能。

关键创新：该方法最重要的创新点在于将LLM的代码生成能力与进化算法的搜索能力相结合，实现BO算法的自动设计。与以往使用LLM进行优化或生成非BO算法的工作不同，该方法直接生成完整的BO算法代码，并使用进化策略进行迭代优化。

关键设计：关键设计包括：1) Prompt设计：设计合适的prompt来引导LLM生成符合BO算法规范的代码。2) 进化策略的选择：选择合适的进化策略（如协方差矩阵自适应进化策略CMA-ES）来优化算法种群。3) 适应度函数设计：设计合适的适应度函数来评估生成的BO算法的性能，例如使用BBOB benchmark上的平均排名或成功率。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，LLaMEA-BO生成的算法在5维BBOB函数中的19个上优于最先进的BO基线算法。此外，生成的算法在更高维度和不同的任务（来自Bayesmark框架）上表现出良好的泛化能力。这些结果表明，LLM可以作为算法协同设计者，自动生成高性能的优化算法。

🎯 应用场景

该研究成果可应用于各种需要优化黑盒函数的领域，如超参数优化、材料设计、药物发现和机器人控制等。通过自动生成高性能的BO算法，可以降低对领域专家的依赖，加速优化过程，并发现新的算法结构，从而提高相关领域的效率和创新能力。未来，该方法有望推广到其他优化算法的自动设计中。

📄 摘要（原文）

Bayesian optimization (BO) is a powerful class of algorithms for optimizing expensive black-box functions, but designing effective BO algorithms remains a manual, expertise-driven task. Recent advancements in Large Language Models (LLMs) have opened new avenues for automating scientific discovery, including the automatic design of optimization algorithms. While prior work has used LLMs within optimization loops or to generate non-BO algorithms, we tackle a new challenge: Using LLMs to automatically generate full BO algorithm code. Our framework uses an evolution strategy to guide an LLM in generating Python code that preserves the key components of BO algorithms: An initial design, a surrogate model, and an acquisition function. The LLM is prompted to produce multiple candidate algorithms, which are evaluated on the established Black-Box Optimization Benchmarking (BBOB) test suite from the COmparing Continuous Optimizers (COCO) platform. Based on their performance, top candidates are selected, combined, and mutated via controlled prompt variations, enabling iterative refinement. Despite no additional fine-tuning, the LLM-generated algorithms outperform state-of-the-art BO baselines in 19 (out of 24) BBOB functions in dimension 5 and generalize well to higher dimensions, and different tasks (from the Bayesmark framework). This work demonstrates that LLMs can serve as algorithmic co-designers, offering a new paradigm for automating BO development and accelerating the discovery of novel algorithmic combinations. The source code is provided at https://github.com/Ewendawi/LLaMEA-BO.