AutoEP: LLMs-Driven Automation of Hyperparameter Evolution for Metaheuristic Algorithms

📄 arXiv: 2509.23189v1 📥 PDF

作者: Zhenxing Xu, Yizhe Zhang, Weidong Bao, Hao Wang, Ming Chen, Haoran Ye, Wenzheng Jiang, Hui Yan, Ji Wang

分类: cs.AI

发布日期: 2025-09-27

💡 一句话要点

AutoEP：利用LLM驱动的超参数进化自动优化元启发式算法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 超参数优化 元启发式算法 大型语言模型 零样本学习 探索性景观分析

📋 核心要点

  1. 现有基于学习的超参数优化方法样本复杂度高，泛化能力差，难以有效应对动态变化的优化环境。
  2. AutoEP利用LLM的零样本推理能力，结合在线探索性景观分析，动态调整元启发式算法的超参数。
  3. 实验表明，AutoEP在多种组合优化问题上超越了现有调优器，开源LLM甚至可以媲美GPT-4。

📝 摘要（中文）

动态配置算法超参数是计算智能领域的一项根本性挑战。虽然基于学习的方法提供了自动化，但它们面临着过高的样本复杂性和较差的泛化能力。我们引入了AutoEP，这是一个新颖的框架，它通过利用大型语言模型（LLM）作为算法控制的零样本推理引擎，完全绕过了训练过程。AutoEP的核心创新在于两个组件之间的紧密协同：(1) 在线探索性景观分析（ELA）模块，提供关于搜索动态的实时、定量反馈；(2) 多LLM推理链，解释这些反馈以生成自适应超参数策略。这种方法将高层次的推理建立在经验数据之上，从而减轻了幻觉。在不同的组合优化基准上评估了三种不同的元启发式算法，AutoEP始终优于最先进的调优器，包括神经进化和其他基于LLM的方法。值得注意的是，我们的框架使像Qwen3-30B这样的开源模型能够与GPT-4的性能相匹配，展示了一种强大且易于访问的自动化超参数设计新范例。

🔬 方法详解

问题定义：论文旨在解决元启发式算法中超参数动态配置的问题。现有方法，如基于学习的调优器，需要大量的训练数据，泛化能力有限，难以适应不同问题和算法。手动调参耗时耗力，缺乏效率。因此，如何自动、高效地配置超参数，以提升元启发式算法的性能，是一个重要的挑战。

核心思路：AutoEP的核心思路是利用大型语言模型（LLM）的零样本推理能力，结合在线探索性景观分析（ELA）提供的实时反馈，动态调整元启发式算法的超参数。通过ELA量化搜索过程中的信息，LLM根据这些信息推理出合适的超参数策略，从而实现自适应的超参数配置。这种方法避免了对大量训练数据的依赖，提高了泛化能力。

技术框架：AutoEP框架包含两个主要模块：在线探索性景观分析（ELA）模块和多LLM推理链。ELA模块负责实时分析搜索过程的动态，提取关键特征，如搜索空间的粗糙度、梯度信息等，并将这些特征作为量化反馈。多LLM推理链接收ELA模块的反馈，利用LLM的推理能力，生成自适应的超参数策略。该策略指导元启发式算法的超参数调整，从而优化搜索过程。整个过程是一个闭环反馈系统，不断根据搜索结果调整超参数。

关键创新：AutoEP的关键创新在于将LLM的零样本推理能力与在线探索性景观分析相结合，构建了一个无需训练的超参数自动配置框架。与传统的基于学习的方法不同，AutoEP不需要大量的训练数据，可以直接应用于新的问题和算法。此外，多LLM推理链的设计允许利用多个LLM的优势，提高推理的准确性和鲁棒性。

关键设计：ELA模块选择合适的景观特征来描述搜索空间的特性，例如粗糙度、梯度信息等。LLM推理链的设计包括提示工程，即如何设计合适的提示语，引导LLM生成有效的超参数策略。此外，如何将LLM的输出转化为具体的超参数调整方案，也是一个关键的设计细节。论文可能还涉及了如何选择合适的LLM，以及如何平衡不同LLM之间的权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AutoEP在三种不同的元启发式算法和多种组合优化基准上进行了评估，实验结果表明，AutoEP始终优于最先进的调优器，包括神经进化和其他基于LLM的方法。值得注意的是，使用开源模型Qwen3-30B，AutoEP能够达到与GPT-4相当的性能，这表明AutoEP具有很强的实用性和可扩展性。具体性能提升数据未知，但论文强调了超越现有SOTA方法。

🎯 应用场景

AutoEP具有广泛的应用前景，可以应用于各种组合优化问题，如旅行商问题、调度问题、资源分配问题等。它能够显著降低算法调参的人力成本，提高算法的性能和效率。此外，AutoEP还可以促进元启发式算法在实际工程问题中的应用，例如，在物流优化、生产调度、金融风险管理等领域。

📄 摘要（原文）

Dynamically configuring algorithm hyperparameters is a fundamental challenge in computational intelligence. While learning-based methods offer automation, they suffer from prohibitive sample complexity and poor generalization. We introduce AutoEP, a novel framework that bypasses training entirely by leveraging Large Language Models (LLMs) as zero-shot reasoning engines for algorithm control. AutoEP's core innovation lies in a tight synergy between two components: (1) an online Exploratory Landscape Analysis (ELA) module that provides real-time, quantitative feedback on the search dynamics, and (2) a multi-LLM reasoning chain that interprets this feedback to generate adaptive hyperparameter strategies. This approach grounds high-level reasoning in empirical data, mitigating hallucination. Evaluated on three distinct metaheuristics across diverse combinatorial optimization benchmarks, AutoEP consistently outperforms state-of-the-art tuners, including neural evolution and other LLM-based methods. Notably, our framework enables open-source models like Qwen3-30B to match the performance of GPT-4, demonstrating a powerful and accessible new paradigm for automated hyperparameter design. Our code is available at https://anonymous.4open.science/r/AutoEP-3E11