Behaviour Space Analysis of LLM-driven Meta-heuristic Discovery

📄 arXiv: 2507.03605v1 📥 PDF

作者: Niki van Stein, Haoran Yin, Anna V. Kononova, Thomas Bäck, Gabriela Ochoa

分类: cs.NE, cs.AI

发布日期: 2025-07-04

💡 一句话要点

利用LLM驱动的元启发式算法发现方法，通过行为空间分析优化算法性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 元启发式算法 算法发现 大型语言模型 进化算法 行为空间分析

📋 核心要点

  1. 现有元启发式算法设计依赖人工经验，效率低且难以适应复杂问题，面临自动化和自适应的挑战。
  2. 提出基于LLM的算法发现框架LLaMEA，通过进化策略自动生成和优化元启发式算法，探索算法设计空间。
  3. 实验表明，结合代码简化和随机扰动策略的LLaMEA变体性能最佳，行为空间分析揭示了高性能算法的特性。

📝 摘要（中文）

本文研究了由大型语言模型（LLM）驱动的算法发现方法自动生成的元启发式优化算法的行为空间。使用带有GPT-4-mini LLM的Large Language Evolutionary Algorithm (LLaMEA) 框架，迭代地进化黑盒优化启发式算法，并在BBOB基准测试套件中的10个函数上进行评估。比较和分析了六种具有不同变异提示策略的LLaMEA变体。记录每次运行的动态行为指标，包括探索、利用、收敛和停滞度量，并通过可视化投影和基于网络的表示进行分析。分析结合了基于行为的投影、从静态代码特征构建的代码演化图、性能收敛曲线和基于行为的搜索轨迹网络。结果揭示了LLaMEA配置在搜索动态和算法结构方面的明显差异。值得注意的是，采用代码简化提示和随机扰动提示的1+1精英进化策略的变体取得了最佳性能，具有最高的收敛曲线下面积。行为空间可视化表明，性能更高的算法表现出更强的利用行为和更快的收敛速度，停滞更少。研究结果表明，行为空间分析可以解释为什么某些LLM设计的启发式算法优于其他算法，以及LLM驱动的算法发现如何导航算法的开放和复杂搜索空间。这些发现为指导自适应LLM驱动的算法生成器的未来设计提供了见解。

🔬 方法详解

问题定义：论文旨在解决元启发式算法设计自动化的问题。现有方法依赖于人工设计，耗时且难以适应不同优化问题。痛点在于如何高效地探索算法设计空间，并自动生成高性能的元启发式算法。

核心思路：论文的核心思路是利用大型语言模型（LLM）作为算法生成器，通过进化算法迭代优化LLM生成的算法。通过行为空间分析，理解不同算法的行为模式，并指导LLM生成更优的算法。

技术框架：整体框架为Large Language Evolutionary Algorithm (LLaMEA)。该框架包含以下主要模块：1) LLM算法生成器：使用GPT-4-mini生成元启发式算法代码。2) 进化算法：采用(1+1)精英进化策略，选择性能最佳的算法进行变异。3) 变异策略：设计不同的提示策略，包括代码简化提示和随机扰动提示。4) 行为空间分析：记录算法的探索、利用、收敛和停滞等行为指标，并通过可视化和网络分析进行分析。

关键创新：最重要的技术创新点在于将LLM与进化算法相结合，实现元启发式算法的自动发现和优化。与现有方法相比，该方法无需人工干预，能够自动探索算法设计空间，并生成具有竞争力的算法。

关键设计：关键设计包括：1) 不同的变异提示策略：代码简化提示旨在减少代码冗余，提高算法效率；随机扰动提示旨在增加算法的多样性。2) 行为指标的选取：选择探索、利用、收敛和停滞等指标，能够全面反映算法的搜索行为。3) 使用BBOB benchmark suite评估算法性能，确保结果的可靠性和可比性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，结合代码简化和随机扰动提示的LLaMEA变体在BBOB基准测试中表现最佳，具有最高的收敛曲线下面积。行为空间可视化显示，高性能算法表现出更强的利用行为和更快的收敛速度，停滞更少。这些结果验证了LLM驱动的算法发现方法的有效性，并为未来的算法设计提供了指导。

🎯 应用场景

该研究成果可应用于各种优化问题，例如机器学习模型训练、组合优化、工程设计等。通过自动生成高性能的元启发式算法，可以降低算法设计的成本，提高优化效率，并加速相关领域的创新。未来，该方法有望应用于更复杂的优化问题，并与其他AI技术相结合，实现更智能的优化。

📄 摘要（原文）

We investigate the behaviour space of meta-heuristic optimisation algorithms automatically generated by Large Language Model driven algorithm discovery methods. Using the Large Language Evolutionary Algorithm (LLaMEA) framework with a GPT o4-mini LLM, we iteratively evolve black-box optimisation heuristics, evaluated on 10 functions from the BBOB benchmark suite. Six LLaMEA variants, featuring different mutation prompt strategies, are compared and analysed. We log dynamic behavioural metrics including exploration, exploitation, convergence and stagnation measures, for each run, and analyse these via visual projections and network-based representations. Our analysis combines behaviour-based projections, Code Evolution Graphs built from static code features, performance convergence curves, and behaviour-based Search Trajectory Networks. The results reveal clear differences in search dynamics and algorithm structures across LLaMEA configurations. Notably, the variant that employs both a code simplification prompt and a random perturbation prompt in a 1+1 elitist evolution strategy, achieved the best performance, with the highest Area Over the Convergence Curve. Behaviour-space visualisations show that higher-performing algorithms exhibit more intensive exploitation behaviour and faster convergence with less stagnation. Our findings demonstrate how behaviour-space analysis can explain why certain LLM-designed heuristics outperform others and how LLM-driven algorithm discovery navigates the open-ended and complex search space of algorithms. These findings provide insights to guide the future design of adaptive LLM-driven algorithm generators.