Meta-Reflective Evolution Effectively Improves Production AI Systems

📄 arXiv: 2610.12794v1 📥 PDF

作者: Seung Won Wilson Yoo, Chang Zeng, Aditi Somayajula, Sahithi Ankireddy, Rohan Kosalge, Avishree Khare, John Mitchell, Aditya G. Parameswaran, Rajhans Samdani, Anupam Datta

分类: cs.LG, cs.AI, cs.CL, cs.SE

发布日期: 2026-10-08

💡 一句话要点

提出CoCoEvolve以优化生产AI系统的演化方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 演化优化 元反思 生产AI系统 数据管道 数据工程 大语言模型 系统优化

📋 核心要点

  1. 现有的演化优化方法在生产AI系统中面临挑战，孤立的失败难以揭示复杂的系统交互。
  2. 本文提出CoCoEvolve，通过元反思机制，选择性地从演化历史中检索证据，以优化系统。
  3. 实验结果表明，CoCoEvolve在多个基准测试中超越了所有对比基线，显著提高了解决率和准确性。

📝 摘要（中文）

大语言模型（LLM）引导的演化优化成功改善了提示、程序甚至整个AI系统。然而，现有方法在生产AI系统中面临挑战，因为孤立的失败难以揭示复杂的隐藏交互。本文提出了CoCoEvolve（Cortex Code Evolve），一种基于元反思的演化优化器，通过选择性检索整个演化历史中的证据并探测实时系统，验证并提出变异。我们在三类生产AI系统上应用CoCoEvolve，实验结果显示其在多个基准测试中表现优异，显著提升了解决率和准确性。

🔬 方法详解

问题定义：本文旨在解决现有演化优化方法在生产AI系统中的不足，尤其是孤立失败无法揭示复杂交互的问题。

核心思路：提出的CoCoEvolve通过元反思机制，允许优化器在变异前检索整个演化历史的证据，从而更全面地理解系统状态。

技术框架：CoCoEvolve的整体架构包括三个主要模块：演化历史检索模块、实时系统探测模块和变异验证模块，形成闭环优化流程。

关键创新：最重要的创新在于引入了元反思机制，使得优化器能够在变异过程中考虑更广泛的上下文信息，与传统方法相比，显著提高了优化效果。

关键设计：在设计中，关键参数包括演化历史的选择策略和变异验证的标准，确保优化过程的高效性和准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在DABStep基准测试中，CoCoEvolve达到了92.8%的准确率，超越了Meta-Harness的78.4%和GEPA的30.4%。在数据工程基准上，解决率从59.1%提升至77.4%，超过最佳基线73.6%。在HotpotQA上，CoCoEvolve的准确率比GEPA高出11个百分点，展现出其卓越的优化能力。

🎯 应用场景

CoCoEvolve的研究成果在多个领域具有潜在应用价值，包括数据代理、基于LLM的数据管道和数据工程工作流等。其优化能力能够显著提升生产AI系统的性能，推动智能系统的进一步发展与应用。

📄 摘要（原文）

Large Language Model (LLM)-guided evolutionary optimization has successfully improved prompts, programs, and even entire AI systems. Most optimization methods select a candidate from the search frontier, then mutate it in one LLM pass based only on its failures. This focus on the frontier can stall on production AI systems, where isolated failures reveal little about complex, hidden interactions. We introduce CoCoEvolve (Cortex Code Evolve), an evolutionary optimizer built around what we call meta-reflection, wherein an agentic mutator (Cortex Code) selectively retrieves evidence from the entire evolutionary history and probes the live system before verifying and proposing mutations. We apply CoCoEvolve to optimize three classes of production AI systems: data agents, LLM-powered data pipelines, and data engineering workflows. On DABStep, CoCoEvolve tops the public leaderboard, reaching 92.8% held-out hard accuracy compared to 78.4% for Meta-Harness and 30.4% for GEPA under matched conditions. Across six LLM data pipeline workloads, it outperforms every evaluated baseline. On data-eng-bench, CoCoEvolve lifts test-set solve rate from 59.1% to 77.4%, past the best baseline of 73.6%. It also has 11 percentage points higher accuracy than GEPA on HotpotQA while remaining competitive with specialized optimizers on established mathematical and systems benchmarks. Matched ablations confirm that each component of CoCoEvolve contributes to these gains, demonstrating the value of meta-reflection for optimizing production AI systems.