ExpEvolve: Structuring and Reusing Experience for Open-Ended Discovery
作者: Yongqiang Chen, Chenxi Liu, Deyu Zou, Zhenhao Chen, Tongliang Liu, Bo Han, Kun Zhang
分类: cs.LG, cs.CL, stat.ML
发布日期: 2026-10-21
💡 一句话要点
提出ExpEvolve以解决开放式科学发现中的经验重用问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 进化编码 大型语言模型 科学发现 样本效率 高层因素提取 程序演化 机器学习任务
📋 核心要点
- 现有的进化编码代理在程序突变上主要依赖低层次的启发式方法，缺乏对高层次思想的控制，导致样本效率低下。
- ExpEvolve通过引入思想级别的提取和控制，发现程序中的高层因素，从而改善探索和利用的效率。
- 在11个开放式数学任务中，ExpEvolve显著提高了最终性能和样本效率，提升幅度可达5.0倍，且结果可迁移至其他任务。
📝 摘要（中文）
进化编码代理如AlphaEvolve在利用大型语言模型（LLMs）构建AI科学家方面取得了显著成功。这些代理通过迭代改进和进化程序，利用LLMs的先前知识和推理能力来解决开放式科学问题。然而，现有方法的程序突变主要基于低层次的表面启发式，没有持久的控制单元。本文提出了ExpEvolve，通过引入思想级别的提取和控制，发现并利用程序中的高层因素，以解释不同程序之间的评分差异。我们还建立了一个实用框架，表明提取的高层思想因素在经验利用和探索方面具有指导意义。实验表明，ExpEvolve在11个开放式数学任务中显著提高了最终性能和样本效率，提升幅度可达5.0倍，并且这些改进也能迁移到其他LLMs及MLS-Bench中的6个机器学习任务。
🔬 方法详解
问题定义：本文旨在解决开放式科学发现中，现有进化编码代理在程序突变上缺乏高层次控制的问题，导致样本效率低下和探索能力不足。
核心思路：ExpEvolve的核心思路是引入思想级别的提取和控制，通过识别和利用程序中的高层因素，来改善程序的演化过程和样本效率。这样的设计使得进化过程不仅依赖于低层次的启发式，而是能够基于更深层次的理解进行优化。
技术框架：ExpEvolve的整体架构包括几个主要模块：首先是高层因素的提取模块，负责从程序中识别出影响评分的关键思想；其次是控制模块，利用提取的高层因素来指导程序的演化；最后是评估模块，评估不同程序的性能并反馈给进化过程。
关键创新：ExpEvolve的最重要创新在于引入了思想级别的控制机制，使得程序的演化不仅基于表面特征，而是能够深入到影响程序表现的核心思想。这一创新与现有方法的本质区别在于其对高层次因素的重视。
关键设计：在设计中，ExpEvolve采用了特定的损失函数来优化高层因素的提取，并通过调整网络结构来增强对高层因素的学习能力。此外，参数设置上也进行了优化，以确保在不同任务中均能获得良好的性能。
🖼️ 关键图片
📊 实验亮点
在11个开放式数学任务中，ExpEvolve的最终性能和样本效率显著提高，最高提升幅度达到5.0倍。此外，该方法的改进效果也成功迁移至4个其他大型语言模型和6个机器学习任务，显示出其广泛的适用性和有效性。
🎯 应用场景
ExpEvolve的研究成果在多个领域具有潜在应用价值，尤其是在科学研究、自动化程序生成和机器学习任务中。通过提高样本效率和探索能力，该方法能够加速科学发现过程，推动AI在科学领域的应用与发展。未来，ExpEvolve的框架也可能被扩展到其他复杂任务中，进一步提升AI系统的智能水平。
📄 摘要（原文）
Evolutionary coding agents such as AlphaEvolve are one of the notable successes in using Large Language Models (LLMs) to build AI Scientists. These agents tackle open-ended scientific problems by iteratively improving and evolving programs, leveraging the prior knowledge and reasoning capabilities of LLMs. Despite their success, mutations over programs are mostly low-level upon surface heuristics, without a persistent unit of control. In contrast, science compounds through ideas. In this work, we propose ExpEvolve, which injects idea-level extraction and control into evolution: it discovers and leverages the high-level factors from programs that explain scoring differences among different programs. We characterize theoretical conditions on when discovery with idea factors improves sample efficiency. We also build a practical framework to show that the extracted high-level idea factors are helpful for guiding exploitation from experience and exploration when discovery comes to a plateau. Across 11 open-ended mathematical tasks, ExpEvolve significantly improves the final performance and sample efficiency up to 5.0x. The improvements also transfer to 4 other LLMs and to 6 machine learning tasks from MLS-Bench. Analysis shows that ExpEvolve can discover idea-level factors to provide better exploration and exploitation for evolutionary discovery.