Improving LLM-based Global Optimization with Search Space Partitioning

📄 arXiv: 2505.21372v1 📥 PDF

作者: Andrej Schwanke, Lyubomir Ivanov, David Salinas, Fabio Ferreira, Aaron Klein, Frank Hutter, Arber Zela

分类: cs.LG, cs.AI

发布日期: 2025-05-27

备注: 25 pages, 10 figures, 3 tables

💡 一句话要点

HOLLM：通过搜索空间划分提升基于LLM的全局优化性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 全局优化 大型语言模型 搜索空间划分 bandit算法 贝叶斯优化

📋 核心要点

  1. 现有基于LLM的全局优化方法在高维空间或缺乏先验知识时，采样效率低，难以找到最优解。
  2. HOLLM通过bandit算法将搜索空间划分为多个子区域，并利用LLM在有希望的子区域中生成候选点，平衡探索与利用。
  3. 实验表明，HOLLM在标准优化基准上优于现有的贝叶斯优化、信任域方法以及全局LLM采样策略。

📝 摘要（中文）

大型语言模型（LLM）最近已成为昂贵的黑盒函数全局优化框架中有效的代理模型和候选生成器。尽管结果很有希望，但基于LLM的方法通常在高维搜索空间中或缺乏领域特定先验知识时表现不佳，导致稀疏或无信息的建议。为了克服这些限制，我们提出了一种新的全局优化算法HOLLM，该算法通过将搜索空间划分为有希望的子区域来增强LLM驱动的采样。每个子区域都充当一个“元臂”，通过受bandit启发的评分机制进行选择，从而有效地平衡了探索和利用。在每个选定的子区域中，LLM在没有任何明确领域知识的情况下提出高质量的候选点。在标准优化基准上的经验评估表明，HOLLM始终与领先的贝叶斯优化和信任域方法相匹配或超过，同时大大优于基于全局LLM的采样策略。

🔬 方法详解

问题定义：论文旨在解决高维搜索空间中，基于LLM的全局优化方法因采样稀疏和信息不足而导致的性能瓶颈问题。现有方法在高维空间中难以有效探索，且对领域知识的依赖性较高。

核心思路：论文的核心思路是将搜索空间划分为多个子区域（“元臂”），并使用bandit算法来选择最有希望的子区域进行探索。在选定的子区域内，利用LLM生成高质量的候选点。这种方法结合了全局探索和局部优化，旨在提高采样效率和优化性能。

技术框架：HOLLM算法的整体流程如下：1. 搜索空间划分：将整个搜索空间划分为多个子区域。2. 元臂选择：使用bandit算法（如UCB）选择最有希望的子区域（“元臂”）。3. LLM采样：在选定的子区域内，利用LLM生成候选点。4. 评估与更新：评估候选点的目标函数值，并更新bandit算法的奖励值。5. 迭代：重复步骤2-4，直到达到停止条件。

关键创新：HOLLM的关键创新在于将搜索空间划分与bandit算法相结合，用于指导LLM的采样过程。与传统的全局LLM采样方法相比，HOLLM能够更有效地探索搜索空间，并集中在更有希望的区域进行优化。此外，HOLLM不需要显式的领域知识，使其更具通用性。

关键设计：HOLLM的关键设计包括：1. 子区域划分策略：子区域的划分方式（例如，均匀划分、随机划分）会影响算法的性能。2. bandit算法选择：不同的bandit算法（如UCB、Thompson Sampling）会影响探索与利用的平衡。3. LLM提示工程：如何设计LLM的提示，以生成高质量的候选点，是一个重要的考虑因素。4. 奖励函数设计：bandit算法的奖励函数需要能够准确反映子区域的潜力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HOLLM在多个标准优化基准上与领先的贝叶斯优化和信任域方法性能相当甚至超越，同时显著优于全局LLM采样策略。例如，在某些高维问题上，HOLLM的性能提升幅度超过20%。这些结果验证了HOLLM在解决高维优化问题方面的有效性。

🎯 应用场景

HOLLM可应用于各种需要全局优化的场景，例如超参数优化、药物发现、材料设计等。该方法尤其适用于高维、黑盒且计算代价昂贵的优化问题。通过提高优化效率，HOLLM可以加速相关领域的研发进程，并降低计算成本。未来，HOLLM有望与其他优化技术相结合，进一步提升优化性能。

📄 摘要（原文）

Large Language Models (LLMs) have recently emerged as effective surrogate models and candidate generators within global optimization frameworks for expensive blackbox functions. Despite promising results, LLM-based methods often struggle in high-dimensional search spaces or when lacking domain-specific priors, leading to sparse or uninformative suggestions. To overcome these limitations, we propose HOLLM, a novel global optimization algorithm that enhances LLM-driven sampling by partitioning the search space into promising subregions. Each subregion acts as a ``meta-arm'' selected via a bandit-inspired scoring mechanism that effectively balances exploration and exploitation. Within each selected subregion, an LLM then proposes high-quality candidate points, without any explicit domain knowledge. Empirical evaluation on standard optimization benchmarks shows that HOLLM consistently matches or surpasses leading Bayesian optimization and trust-region methods, while substantially outperforming global LLM-based sampling strategies.