ASI-Evolve: AI Accelerates AI

📄 arXiv: 2603.29640v1 📥 PDF

作者: Weixian Xu, Tiantian Mi, Yixiu Liu, Yang Nan, Zhimeng Zhou, Lyumanshan Ye, Lin Zhang, Yu Qiao, Pengfei Liu

分类: cs.AI

发布日期: 2026-03-31

备注: 19 pages, 6 figures, 6 tables. Code available at https://github.com/GAIR-NLP/ASI-Evolve

💡 一句话要点

ASI-Evolve：利用AI加速AI自身发展，实现数据、架构和算法的AI驱动发现

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: AI for AI 自动化机器学习 神经架构搜索 强化学习算法设计 预训练数据管理

📋 核心要点

  1. 现有agentic系统在具有快速反馈的任务中表现出色，但难以应对成本高昂、长周期和弱监督的AI研究。
  2. ASI-Evolve通过学习-设计-实验-分析循环，利用认知库注入人类先验知识，并使用分析器提炼实验结果，实现AI驱动的AI发展。
  3. 实验表明，ASI-Evolve在神经架构设计、预训练数据管理和强化学习算法设计方面均取得了显著提升，并初步验证了其在数学和生物医学领域的潜力。

📝 摘要（中文）

本文提出ASI-Evolve，一个用于AI-for-AI研究的agentic框架，通过学习-设计-实验-分析循环来闭环。ASI-Evolve通过认知库（注入人类先验知识）和专用分析器（将实验结果提炼为可重用见解）增强了标准的进化agent。据我们所知，ASI-Evolve是第一个统一框架，展示了AI驱动的AI开发三个核心组成部分（数据、架构和学习算法）的发现。在神经架构设计中，它发现了105个SOTA线性注意力架构，最佳模型超越DeltaNet +0.97个点。在预训练数据管理中，进化后的pipeline将平均基准性能提高了+3.96个点，在MMLU上超过18个点。在强化学习算法设计中，发现的算法在AMC32上优于GRPO +12.5个点，在AIME24上优于+11.67个点，在OlympiadBench上优于+5.04个点。我们进一步提供了初步证据，表明这种AI-for-AI范式可以通过数学和生物医学实验转移到AI堆栈之外。这些结果表明，ASI-Evolve代表着朝着使AI能够加速AI在开发的基础阶段的发展迈出的有希望的一步，为闭环AI研究的可行性提供了早期证据。

🔬 方法详解

问题定义：当前AI发展面临成本高、周期长、弱监督等挑战，传统的agentic系统难以有效解决这些问题。现有方法在AI自身发展方面缺乏有效的闭环反馈机制，难以实现AI驱动的自动化探索和优化。

核心思路：ASI-Evolve的核心思路是构建一个AI-for-AI的agentic框架，通过模拟人类研究人员的学习、设计、实验和分析过程，实现AI驱动的自动化AI发展。该框架通过认知库和专用分析器增强了标准的进化agent，从而能够更好地利用人类先验知识和实验结果。

技术框架：ASI-Evolve框架包含以下主要模块：1) 学习模块：从人类知识和历史实验数据中学习先验知识；2) 设计模块：基于学习到的知识设计新的AI组件（如架构、数据pipeline、算法）；3) 实验模块：对设计的AI组件进行实验评估；4) 分析模块：分析实验结果，提取可重用的见解，并更新认知库。这些模块构成一个闭环，不断迭代优化AI组件。

关键创新：ASI-Evolve的关键创新在于：1) 提出了一个统一的AI-for-AI框架，能够同时处理数据、架构和算法的自动化设计；2) 引入了认知库，用于存储和利用人类先验知识；3) 设计了专用分析器，用于从复杂的实验结果中提取可重用的见解。这些创新使得ASI-Evolve能够更有效地进行AI驱动的AI发展。

关键设计：认知库的设计包括知识表示、知识更新和知识检索等关键方面。分析器使用机器学习方法，自动分析实验数据，识别关键因素和模式。进化算法的选择和参数设置也至关重要，需要根据具体任务进行调整。此外，奖励函数的设计直接影响进化过程，需要仔细考虑。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ASI-Evolve在多个AI开发任务中取得了显著成果。在神经架构设计中，发现了105个SOTA线性注意力架构，最佳模型超越DeltaNet +0.97个点。在预训练数据管理中，进化后的pipeline将平均基准性能提高了+3.96个点，在MMLU上超过18个点。在强化学习算法设计中，发现的算法在AMC32上优于GRPO +12.5个点，在AIME24上优于+11.67个点，在OlympiadBench上优于+5.04个点。

🎯 应用场景

ASI-Evolve具有广泛的应用前景，可用于自动化神经架构搜索、预训练数据管理、强化学习算法设计等领域。它能够加速AI模型的开发过程，降低研发成本，并发现更优的AI解决方案。未来，该框架有望应用于更广泛的科学研究领域，例如材料科学、药物发现等，实现AI驱动的科学发现。

📄 摘要（原文）

Can AI accelerate the development of AI itself? While recent agentic systems have shown strong performance on well-scoped tasks with rapid feedback, it remains unclear whether they can tackle the costly, long-horizon, and weakly supervised research loops that drive real AI progress. We present ASI-Evolve, an agentic framework for AI-for-AI research that closes this loop through a learn-design-experiment-analyze cycle. ASI-Evolve augments standard evolutionary agents with two key components: a cognition base that injects accumulated human priors into each round of exploration, and a dedicated analyzer that distills complex experimental outcomes into reusable insights for future iterations. To our knowledge, ASI-Evolve is the first unified framework to demonstrate AI-driven discovery across three central components of AI development: data, architectures, and learning algorithms. In neural architecture design, it discovered 105 SOTA linear attention architectures, with the best discovered model surpassing DeltaNet by +0.97 points, nearly 3x the gain of recent human-designed improvements. In pretraining data curation, the evolved pipeline improves average benchmark performance by +3.96 points, with gains exceeding 18 points on MMLU. In reinforcement learning algorithm design, discovered algorithms outperform GRPO by up to +12.5 points on AMC32, +11.67 points on AIME24, and +5.04 points on OlympiadBench. We further provide initial evidence that this AI-for-AI paradigm can transfer beyond the AI stack through experiments in mathematics and biomedicine. Together, these results suggest that ASI-Evolve represents a promising step toward enabling AI to accelerate AI across the foundational stages of development, offering early evidence for the feasibility of closed-loop AI research.