SEDIMA: Cross-Run Hierarchical Insight Memory for Evolutionary Search Agents

📄 arXiv: 2610.02361v1 📥 PDF

作者: Amirhossein Abaskohi, Mahdi Mostajabdaveh, Zirui Zhou

分类: cs.NE, cs.CL

发布日期: 2026-10-01

💡 一句话要点

提出SEDIMA以解决进化搜索代理的记忆不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 进化搜索 记忆机制 自然语言处理 算法优化 知识转移

📋 核心要点

  1. 现有的进化搜索系统缺乏记忆，导致每次运行都从零开始，重复探索相同的路径和解决方案。
  2. SEDIMA通过建立持久的层次化洞察记忆，将原始数据转化为自然语言洞察，聚类并检索相关信息以指导未来的搜索。
  3. 实验结果表明，SEDIMA在多个基准测试中显著提高了性能，减少了达到最佳性能所需的迭代次数。

📝 摘要（中文）

大语言模型驱动的进化搜索在自动程序和算法发现中展现出强大能力，但现有系统大多缺乏记忆，每次运行都从头开始，导致代理重复发现相同的改进和死胡同。本文提出SEDIMA，一种持久的层次化洞察记忆，能够将原始轨迹提炼为自然语言洞察，利用注意力加权的质心进行语义相似性聚类，并检索相关指导以条件未来的变异，从而在多次运行和问题中积累可转移的知识。SEDIMA作为一个不修改搜索操作的模块，在固定的100个候选评估预算下，AlgoTune的平均最终性能提高了5.5%，ALE-Bench LITE提高了6.6%。在OpenEvolve中，SEDIMA平均需要减少32.3%的迭代次数以达到基线最佳性能。

🔬 方法详解

问题定义：本文旨在解决现有进化搜索代理缺乏记忆的问题，导致每次运行都重复探索相同的解决方案和死胡同。

核心思路：SEDIMA的核心思想是建立一个持久的层次化洞察记忆，通过提炼和聚类历史数据，帮助代理在未来的搜索中利用已有的知识。

技术框架：SEDIMA的整体架构包括数据提炼、语义聚类和信息检索三个主要模块。首先，将原始轨迹转化为自然语言洞察；其次，利用注意力机制对洞察进行聚类；最后，检索相关信息以指导未来的变异。

关键创新：SEDIMA的主要创新在于其持久的记忆机制和层次化的洞察聚类方法，使得知识可以在不同的运行和问题之间转移，显著提高了搜索效率。

关键设计：SEDIMA采用注意力加权的质心聚类方法，确保聚类的语义相似性，同时在信息检索阶段设计了高效的检索算法，以快速获取相关指导信息。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

SEDIMA在AlgoTune和ALE-Bench LITE上分别提高了5.5%和6.6%的平均最终性能，并在OpenEvolve中平均减少32.3%的迭代次数，展示了其在进化搜索中的显著优势。

🎯 应用场景

SEDIMA的研究成果在自动程序生成、算法优化和智能搜索系统等领域具有广泛的应用潜力。通过积累和利用历史知识，SEDIMA能够显著提高搜索效率和结果质量，推动智能系统的进一步发展。

📄 摘要（原文）

Large language model (LLM)-driven evolutionary search is a powerful paradigm for automated program and algorithm discovery, yet existing systems are largely memoryless: each run explores from scratch, so agents repeatedly rediscover the same improvements and re-encounter the same dead ends. We introduce SEDIMA, a persistent hierarchical insight memory for evolutionary search agents. SEDIMA distills raw traces into natural-language insights, clusters them by semantic similarity using attention-weighted centroids, and retrieves relevant guidance to condition future mutations, accumulating transferable knowledge across runs and problems rather than within a single trajectory. As a drop-in module that leaves the search operators unmodified, SEDIMA improves average final performance by 5.5% on AlgoTune and 6.6% on ALE-Bench LITE under a fixed budget of 100 evaluated candidates. Under OpenEvolve, SEDIMA requires 32.3% fewer iterations on average to reach baseline-best performance across the five evaluated backbones.