LoongFlow: Directed Evolutionary Search via a Cognitive Plan-Execute-Summarize Paradigm

📄 arXiv: 2512.24077v1 📥 PDF

作者: Chunhui Wan, Xunan Dai, Zhuo Wang, Minglei Li, Yanpeng Wang, Yinan Mao, Yu Lan, Zhiwen Xiao

分类: cs.AI

发布日期: 2025-12-30

💡 一句话要点

LoongFlow：基于认知Plan-Execute-Summarize范式的定向进化搜索

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 进化算法 大型语言模型 自主科学发现 Plan-Execute-Summarize 算法优化 机器学习 智能代理 定向搜索

📋 核心要点

  1. 现有进化方法缺乏结构化推理，导致在高维空间中探索效率低，容易过早收敛。
  2. LoongFlow将LLM融入Plan-Execute-Summarize范式，将进化搜索转化为推理过程，提升效率。
  3. LoongFlow在AlphaEvolve和Kaggle竞赛中，进化效率提升高达60%，并发现更优解。

📝 摘要（中文）

传统进化方法缺乏结构化推理，阻碍了从静态大型语言模型(LLM)向自我改进代理的转变。现有方法通常在高维代码空间中面临早熟收敛和低效探索的问题。为了解决这些挑战，我们引入了LoongFlow，一个自我进化代理框架，以显著降低的计算成本实现了最先进的解决方案质量。与“盲目”突变算子不同，LoongFlow将LLM集成到认知“Plan-Execute-Summarize”(PES)范式中，有效地将进化搜索映射到推理密集的过程。为了维持长期架构一致性，我们结合了混合进化记忆系统。通过将多岛模型与MAP-Elites和自适应Boltzmann选择相结合，该系统在理论上平衡了探索-利用的权衡，维持了多样化的行为生态位以防止优化停滞。我们用通用代理进行算法发现，用ML代理进行pipeline优化来实例化LoongFlow。在AlphaEvolve基准测试和Kaggle竞赛上的广泛评估表明，LoongFlow在进化效率方面优于领先的基线(例如，OpenEvolve、ShinkaEvolve)高达60%，同时发现了更优越的解决方案。LoongFlow标志着自主科学发现向前迈出了重要一步，能够以降低的计算开销生成专家级解决方案。

🔬 方法详解

问题定义：现有进化算法在解决复杂问题时，尤其是在高维代码空间中，面临着探索效率低、容易陷入局部最优解的问题。传统的“盲目”突变算子无法有效地利用先验知识进行推理和指导搜索方向，导致计算资源浪费和收敛速度慢。因此，如何提升进化算法的推理能力和搜索效率是亟待解决的问题。

核心思路：LoongFlow的核心思路是将大型语言模型（LLM）的推理能力融入到进化搜索过程中，通过认知的“Plan-Execute-Summarize”（PES）范式来指导搜索方向。这种方法将进化搜索从随机突变转变为一个推理驱动的过程，从而更有效地探索解空间，避免陷入局部最优。

技术框架：LoongFlow的整体框架包含以下几个主要模块：1) Plan模块：利用LLM根据当前种群状态和目标，生成进化计划，指导后续的突变和评估。2) Execute模块：根据计划执行具体的突变操作，生成新的候选解。3) Summarize模块：利用LLM对执行结果进行总结和分析，为下一轮的计划提供反馈。4) 混合进化记忆系统：结合多岛模型、MAP-Elites和自适应Boltzmann选择，维护种群的多样性，平衡探索和利用。

关键创新：LoongFlow的关键创新在于将LLM的推理能力与进化搜索相结合，提出了认知的PES范式。与传统的“盲目”突变算子相比，LoongFlow能够利用LLM的知识和推理能力来指导搜索方向，从而更有效地探索解空间。此外，混合进化记忆系统能够维持种群的多样性，防止优化停滞。

关键设计：LoongFlow的关键设计包括：1) LLM的选择和微调：选择合适的LLM，并根据具体任务进行微调，以提高其推理能力和生成计划的质量。2) PES范式的具体实现：设计合适的prompt，引导LLM生成有效的进化计划和总结报告。3) 混合进化记忆系统的参数设置：调整多岛模型的岛屿数量、MAP-Elites的网格大小和自适应Boltzmann选择的温度参数，以平衡探索和利用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LoongFlow在AlphaEvolve基准测试和Kaggle竞赛中均取得了显著的性能提升。在进化效率方面，LoongFlow优于领先的基线方法（如OpenEvolve、ShinkaEvolve）高达60%。同时，LoongFlow能够发现更优越的解决方案，表明其在复杂问题求解方面具有强大的能力。

🎯 应用场景

LoongFlow具有广泛的应用前景，可用于算法发现、机器学习pipeline优化、自动化程序生成等领域。它能够帮助研究人员和工程师更高效地设计和优化复杂的系统，加速科学发现和技术创新。尤其在计算资源受限的情况下，LoongFlow的优势更加明显，能够以更低的成本生成专家级解决方案。

📄 摘要（原文）

The transition from static Large Language Models (LLMs) to self-improving agents is hindered by the lack of structured reasoning in traditional evolutionary approaches. Existing methods often struggle with premature convergence and inefficient exploration in high-dimensional code spaces. To address these challenges, we introduce LoongFlow, a self-evolving agent framework that achieves state-of-the-art solution quality with significantly reduced computational costs. Unlike "blind" mutation operators, LoongFlow integrates LLMs into a cognitive "Plan-Execute-Summarize" (PES) paradigm, effectively mapping the evolutionary search to a reasoning-heavy process. To sustain long-term architectural coherence, we incorporate a hybrid evolutionary memory system. By synergizing Multi-Island models with MAP-Elites and adaptive Boltzmann selection, this system theoretically balances the exploration-exploitation trade-off, maintaining diverse behavioral niches to prevent optimization stagnation. We instantiate LoongFlow with a General Agent for algorithmic discovery and an ML Agent for pipeline optimization. Extensive evaluations on the AlphaEvolve benchmark and Kaggle competitions demonstrate that LoongFlow outperforms leading baselines (e.g., OpenEvolve, ShinkaEvolve) by up to 60% in evolutionary efficiency while discovering superior solutions. LoongFlow marks a substantial step forward in autonomous scientific discovery, enabling the generation of expert-level solutions with reduced computational overhead.