SimpleEvol: An Agent-Loop Framework for LLM-Driven Automated Heuristic Design with Minimal Human Priors

📄 arXiv: 2609.37172v1 📥 PDF

作者: Jianghan Zhu, Cong Zhang, Rongjie Zhu, Chi Zhang, Zhiguang Cao

分类: cs.AI

发布日期: 2026-09-29

备注: Accepted at NeurIPS 2026. 48 pages, 13 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出SimpleEvol框架以优化LLM驱动的自动启发式设计

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动启发式设计 大型语言模型 智能转换效率 组合优化 自主操作 人类先验 框架设计

📋 核心要点

  1. 现有的AHD方法将LLMs视为固定组件，限制了其自主性，未能充分利用其推理能力。
  2. 本文提出SimpleEvol框架，几乎不依赖人类先验，允许LLM自主生成和优化启发式。
  3. 实验结果显示，SimpleEvol在多个组合优化问题上实现了显著的智能转换效率提升。

📝 摘要（中文）

大型语言模型（LLMs）已成为自动启发式设计（AHD）的强大工具，能够实现启发式的迭代生成与优化。然而，现有方法将LLMs视为固定的狭窄组件，限制了其自主性并未能充分利用其推理能力。本文提出了SimpleEvol，一个几乎不依赖人类先验的AHD框架，允许LLM自主操作，显著提高了智能转换效率（ICE）。实验结果表明，减少人类先验的框架在多个组合优化问题上表现出更高的ICE，挑战了复杂AHD管道的趋势。

🔬 方法详解

问题定义：本文旨在解决现有AHD框架中LLMs被视为狭窄工具的问题，这限制了其推理能力和自主性，同时过多的人类先验违背了通用方法的原则。

核心思路：提出SimpleEvol框架，几乎完全去除人类先验，允许LLM自主操作，从而提高启发式设计的智能转换效率（ICE）。这种设计旨在充分发挥LLMs的推理能力，减少对手工设计的依赖。

技术框架：SimpleEvol框架包括一个代理循环结构，LLM在其中自主生成和优化启发式。框架的主要模块包括LLM生成模块、评估模块和反馈模块，形成一个闭环的优化过程。

关键创新：最重要的创新在于去除了几乎所有人类先验，使得LLM能够在更高层次上进行推理和决策。这与传统方法的本质区别在于，后者依赖于大量手工设计的组件。

关键设计：在框架中，LLM的输入输出设计经过优化，以确保其能够有效生成启发式。此外，评估模块采用了新的性能指标，以更好地衡量生成启发式的质量和效率。实验中使用了十种不同的LLM进行评估，确保了结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SimpleEvol框架在十种LLM的评估中，智能转换效率（ICE）显著提高，通常超出传统方法的表现。具体而言，减少人类先验的框架在多个组合优化问题上实现了ICE的显著提升，挑战了复杂AHD管道的有效性。

🎯 应用场景

该研究的潜在应用领域包括组合优化、自动化设计和智能决策系统。通过减少人类先验，SimpleEvol能够在更广泛的场景中实现高效的启发式设计，推动智能系统的自主性和智能化水平。未来，该框架有望在更多复杂问题的解决中发挥重要作用。

📄 摘要（原文）

Large language models (LLMs) have emerged as powerful tools for automated heuristic design (AHD), enabling iterative generation and refinement of heuristics. However, the dominant paradigm embeds LLMs as narrow, fixed components, such as crossover or mutation, within heavily hand-engineered evolutionary frameworks. We argue this misapprehends LLMs. It treats them as specialized tools rather than general reasoners, constrains them to low-level operations, and underutilizes their autonomy. Moreover, the extensive human priors in these frameworks violate the bitter lesson principle that general methods scaling with computation surpass hand-crafted solutions. This raises a key question: which AHD framework designs best convert stronger LLM capabilities into better heuristics? To address this, we propose metrics for LLM-driven AHD framework handcraftedness (AHI) and intelligence conversion efficiency (ICE). Evaluating ten LLMs across three challenging combinatorial optimization problems, we obtain a notable finding that frameworks with fewer human priors consistently yield higher ICE. Based on this finding, we propose SimpleEvol, an agent-loop framework for AHD which removes nearly all human priors and allows the LLM to operate autonomously. SimpleEvol consistently achieves the highest ICE, often by a large margin. Our results challenge the trend toward complex AHD pipelines and point to a lighter and more model-centric alternative, suggesting that reducing human priors is a more effective strategy to scale up with model intelligence. The source code is available at https://github.com/HenryZhu1029/SimpleEvol-Master.