What Makes an LLM a Good Optimizer? A Trajectory Analysis of LLM-Guided Evolutionary Search

📄 arXiv: 2604.19440v1 📥 PDF

作者: Xinhao Zhang, Xi Chen, François Portet, Maxime Peyrard

分类: cs.CL, cs.NE

发布日期: 2026-04-21

备注: 9 pages, 8 figures, Accepted at Findings of ACL 2026

💡 一句话要点

通过轨迹分析揭示LLM作为优化器的内在机制，助力进化搜索系统设计

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM优化 进化搜索 轨迹分析 语义漂移 局部改进 优化器设计 人工智能 机器学习

📋 核心要点

  1. 现有方法对LLM在进化优化系统中的作用机制理解不足，难以有效指导系统设计。
  2. 通过分析LLM引导的进化搜索轨迹，揭示了优秀优化器局部改进和语义空间定位的特性。
  3. 实验表明，轨迹分析能有效区分不同LLM优化器的性能，并为系统设计提供指导。

📝 摘要（中文）

本文深入研究了LLM引导的进化搜索，旨在理解其优化增益的驱动机制。通过对15个LLM在8个任务上的优化轨迹进行大规模分析，发现零样本问题解决能力与最终优化结果相关，但仅能解释部分方差。具有相似初始能力的模型可能产生截然不同的搜索轨迹和结果。研究表明，优秀的LLM优化器表现为局部改进器，产生频繁的增量改进，并在语义空间中逐步定位搜索。相反，较弱的优化器表现出较大的语义漂移，伴随着零星的突破和随后的停滞。值得注意的是，解决方案新颖性的各种度量标准并不能预测最终性能；只有当搜索充分定位在解决方案空间的高性能区域附近时，新颖性才是有益的。研究结果强调了轨迹分析对于理解和改进基于LLM的优化系统的重要性，并为它们的设计和训练提供了可操作的见解。

🔬 方法详解

问题定义：论文旨在解决如何理解和提升LLM在进化搜索中的优化性能问题。现有方法缺乏对LLM优化过程的深入理解，无法解释为何具有相似初始能力的LLM在优化过程中表现出巨大差异，也难以指导LLM优化系统的设计。

核心思路：论文的核心思路是通过大规模分析LLM引导的进化搜索轨迹，揭示优秀LLM优化器的内在机制。通过观察LLM在搜索过程中的行为模式，例如语义漂移、局部改进等，来理解其优化能力。

技术框架：论文的技术框架主要包括以下几个部分：1) 选择15个LLM和8个任务作为实验对象；2) 收集LLM引导的进化搜索轨迹；3) 分析轨迹数据，提取关键特征，例如语义漂移、局部改进、解决方案新颖性等；4) 建立LLM优化性能与轨迹特征之间的关系模型，从而理解LLM优化器的内在机制。

关键创新：论文最重要的技术创新点在于提出了基于轨迹分析的方法来理解LLM优化器的内在机制。与以往关注LLM零样本能力的研究不同，本文关注LLM在优化过程中的行为模式，从而更深入地理解其优化能力。此外，论文还发现，解决方案的新颖性只有在搜索充分定位在解决方案空间的高性能区域附近时才是有益的。

关键设计：论文的关键设计包括：1) 选择了多样化的LLM和任务，以保证研究结果的泛化性；2) 设计了合理的轨迹特征提取方法，以准确描述LLM在优化过程中的行为模式；3) 使用统计分析方法建立了LLM优化性能与轨迹特征之间的关系模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，优秀的LLM优化器表现为局部改进器，产生频繁的增量改进，并在语义空间中逐步定位搜索。而较弱的优化器表现出较大的语义漂移。此外，研究发现解决方案的新颖性只有在搜索充分定位在解决方案空间的高性能区域附近时才是有益的。这些发现为LLM优化系统的设计提供了重要指导。

🎯 应用场景

该研究成果可应用于自动化机器学习（AutoML）、神经架构搜索（NAS）、提示工程等领域，通过理解LLM优化器的内在机制，可以设计更高效的LLM引导的优化系统，提升问题解决能力和效率。未来，该研究或可指导LLM的训练，使其更擅长作为优化器。

📄 摘要（原文）

Recent work has demonstrated the promise of orchestrating large language models (LLMs) within evolutionary and agentic optimization systems. However, the mechanisms driving these optimization gains remain poorly understood. In this work, we present a large-scale study of LLM-guided evolutionary search, collecting optimization trajectories for 15 LLMs across 8 tasks. Although zero-shot problem-solving ability correlates with final optimization outcomes, it explains only part of the variance: models with similar initial capability often induce dramatically different search trajectories and outcomes. By analyzing these trajectories, we find that strong LLM optimizers behave as local refiners, producing frequent incremental improvements while progressively localizing the search in semantic space. Conversely, weaker optimizers exhibit large semantic drift, with sporadic breakthroughs followed by stagnation. Notably, various measures of solution novelty do not predict final performance; novelty is beneficial only when the search remains sufficiently localized around high-performing regions of the solution space. Our results highlight the importance of trajectory analysis for understanding and improving LLM-based optimization systems and provide actionable insights for their design and training.