MLEvolve: A Self-Evolving Framework for Automated Machine Learning Algorithm Discovery

📄 arXiv: 2606.06473v1 📥 PDF

作者: Shangheng Du, Xiangchao Yan, Jinxin Shi, Zongsheng Cao, Shiyang Feng, Zichen Liang, Boyuan Sun, Tianshuo Peng, Yifan Zhou, Xin Li, Jie Zhou, Liang He, Bo Zhang, Lei Bai

分类: cs.AI, cs.CL

发布日期: 2026-06-04

🔗 代码/项目: GITHUB

💡 一句话要点

提出MLEvolve以解决机器学习算法发现中的信息孤岛问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器学习 算法发现 自我进化 信息流动 回顾性记忆 长时间优化 多代理系统

📋 核心要点

  1. 现有的机器学习工程代理存在信息孤岛、无记忆搜索和缺乏层级控制等问题，限制了长时间优化的能力。
  2. MLEvolve通过引入渐进式MCGS和回顾性记忆，促进了跨分支的信息流动和经验的重用，提升了算法发现的效率。
  3. 在MLE-Bench上的评估显示，MLEvolve在多个维度上表现优异，超越了包括AlphaEvolve在内的专门算法发现方法。

📝 摘要（中文）

大型语言模型（LLM）代理在科学发现和机器学习工程等长时间任务中的应用日益增多，而持续自我进化成为关键能力。然而，现有的机器学习工程代理存在分支间信息隔离、无记忆搜索和缺乏层级控制等问题，限制了长时间优化。本文提出MLEvolve，一个基于LLM的自我进化多代理框架，用于端到端的机器学习算法发现。MLEvolve通过扩展树搜索至渐进式MCGS，实现了跨分支信息流动，并通过熵启发的渐进调度逐步将搜索从广泛探索转向集中利用。为了使代理能够随着经验积累而进化，我们引入了回顾性记忆，结合冷启动领域知识库和动态全局记忆，以便于任务特定经验的检索和重用。实验结果表明，MLEvolve在多个维度上实现了最先进的性能，尤其是在12小时预算下的平均奖牌率和有效提交率方面。

🔬 方法详解

问题定义：本文旨在解决现有机器学习工程代理在长时间任务中面临的信息孤岛、无记忆搜索和缺乏层级控制等痛点，这些问题限制了算法的优化能力。

核心思路：MLEvolve的核心思路是通过引入渐进式多分支图搜索（MCGS）和回顾性记忆机制，促进信息流动和经验重用，从而实现自我进化的能力。

技术框架：MLEvolve的整体架构包括多个模块：渐进式MCGS用于信息流动，回顾性记忆用于经验检索与重用，适应性编码模式用于稳定的长时间迭代。

关键创新：MLEvolve的主要创新在于通过图基参考边实现跨分支信息流动，并通过熵启发的调度策略将搜索从广泛探索转向集中利用，这在现有方法中尚未实现。

关键设计：在设计中，MLEvolve结合了冷启动领域知识库和动态全局记忆，以支持任务特定的经验检索，同时采用适应性编码模式以解耦战略规划与代码生成。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

MLEvolve在MLE-Bench上的评估结果显示，其在12小时预算下的平均奖牌率和有效提交率均达到了最先进的水平，且在数学算法优化任务中超越了专门的算法发现方法AlphaEvolve，展现出强大的跨领域泛化能力。

🎯 应用场景

MLEvolve的研究成果在机器学习算法发现领域具有广泛的应用潜力，能够帮助研究人员和工程师更高效地探索和优化算法，尤其是在复杂的科学计算和工程任务中。未来，该框架可能推动自动化机器学习的进一步发展，提升算法设计的智能化水平。

📄 摘要（原文）

Large language model (LLM) agents are increasingly applied to long-horizon tasks such as scientific discovery and machine learning engineering (MLE), where sustained self-evolution becomes a key capability. However, existing MLE agents suffer from inter-branch information isolation, memoryless search, and lack of hierarchical control, which together hinder long-horizon optimization. We present MLEvolve, an LLM-based self-evolving multi-agent framework for end-to-end machine learning algorithm discovery. By extending tree search to Progressive MCGS, MLEvolve enables cross-branch information flow through graph-based reference edges and gradually shifts the search from broad exploration to focused exploitation with an entropy-inspired progressive schedule. To allow the agent to evolve with accumulated experience, we introduce Retrospective Memory, which combines a cold-start domain knowledge base with a dynamic global memory for task-specific experience retrieval and reuse. For stable long-horizon iteration, we further decouple strategic planning from code generation with adaptive coding modes. Evaluation on MLE-Bench shows that MLEvolve achieves state-of-the-art performance across multiple dimensions including average medal rate and valid submission rate under a 12-hour budget (half the standard runtime). Moreover, MLEvolve also outperforms specialized algorithm discovery methods including AlphaEvolve on mathematical algorithm optimization tasks, demonstrating strong cross-domain generalization. Our code is available at https://github.com/InternScience/MLEvolve.