EvoTreeNAD: Genealogy-Guided Evolution for LLM-Driven Neural Architecture Discovery

📄 arXiv: 2609.29016v1 📥 PDF

作者: Lishan Yu, Derek Jiu, Qizhen Lan, Xiaoqian Jiang

分类: cs.NE, cs.LG

发布日期: 2026-09-24

备注: 31 pages, 5 figures, including appendices

💡 一句话要点

提出EvoTreeNAD以解决神经架构发现中的探索与评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经架构发现 进化算法 谱系指导 大型语言模型 自动化设计 机器学习优化

📋 核心要点

  1. 现有的神经架构发现方法在探索和评估过程中面临高成本和方向不明确的问题。
  2. EvoTreeNAD通过谱系指导的进化算法，从空根开始构建架构，逐步扩展设计空间，优化探索过程。
  3. 实验结果表明，EvoTreeNAD在CIFAR-10/100和MedMNIST-v2任务中超越了多个基线，显示出显著的性能提升。

📝 摘要（中文）

AI驱动的科学发现通过自主开发解决方案和设计来加速研究。大型语言模型（LLM）代理支持这一过程，通过迭代生成和评估。然而，这些迭代并不能确保累积进展或确定下一步的方向。EvoTreeNAD是一种基于谱系指导的进化算法，它从空根开始构建可训练的架构，逐步扩展谱系。通过对每个节点及其后代计算的顶尖值来指导谱系选择，最终发现的架构在CIFAR-10/100测试中表现优异，错误率分别为$2.05{ ext{±}}0.06 ext{%}$和$15.09{ ext{±}}0.22 ext{%}$，超越了现有的NAS和NAD基线。

🔬 方法详解

问题定义：论文旨在解决神经架构发现中的探索效率低和评估成本高的问题。现有方法往往依赖于预设的种子和搜索空间，限制了设计的开放性和创新性。

核心思路：EvoTreeNAD通过谱系指导的进化算法，构建一个从空根开始的可训练架构谱系，逐步生成新架构并进行评估，以此优化探索过程。

技术框架：该方法的整体架构包括谱系生成、设计历史选择、变体提出和实现等模块。每个新节点代表一个完整的架构，基于顶尖值进行谱系选择。

关键创新：EvoTreeNAD的主要创新在于其谱系指导的进化策略，允许在没有预设种子的情况下生成架构，并通过历史设计的反馈来优化后续选择。

关键设计：在设计中，节点的顶尖值用于指导谱系选择，Idea Agent提出变体，Code Agent实现变体，确保每个评估的变体都能扩展谱系并为后续选择提供依据。实验中使用的损失函数和参数设置经过精心设计，以确保高效的架构生成。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

EvoTreeNAD在CIFAR-10/100测试中分别取得了$2.05{ ext{±}}0.06 ext{%}$和$15.09{ ext{±}}0.22 ext{%}$的错误率，超越了现有的NAS和NAD基线。此外，在六个MedMNIST-v2任务中，发现的架构也超过了最强的基线，显示出其优越的性能。

🎯 应用场景

EvoTreeNAD的研究成果在自动化神经架构设计、AI驱动的科学发现以及高效的机器学习模型开发等领域具有广泛的应用潜力。其方法可以帮助研究人员和工程师更快速地探索和优化模型架构，从而加速各类AI应用的开发与部署。

📄 摘要（原文）

AI-driven scientific discovery accelerates research by autonomously developing solutions and designs. Large language model (LLM) agents support this process through iterative generation and evaluation. Yet these iterations alone do not ensure cumulative progress or establish which directions to pursue next. Costly evaluation further constrains the scope of exploration. Neural architecture discovery brings these challenges together, coupling open-ended design with resource-intensive experimentation. We introduce EvoTreeNAD, a genealogy-guided evolutionary algorithm that constructs trainable architectures without a supplied seed or a hand-specified search space. Starting from an empty root, it grows a persistent genealogy in which each new node represents a complete architecture. Top-percentile values computed from each node and its descendants guide lineage selection. Using the selected design history, an Idea Agent proposes a variant and a Code Agent implements it. Each evaluated variant becomes a child node, expanding the genealogy while providing evidence for subsequent lineage selection. Our theoretical analysis establishes the existence of stationary variation regimes as the genealogy grows. Under specified variation assumptions, sustained top-percentile family values quantify the probability of generating high-reward architectures in these regimes. EvoTreeNAD discovers architectures that outperform the compared NAS and NAD baselines, achieving CIFAR-10/100 test errors of $2.05{\pm}0.06\%$ and $15.09{\pm}0.22\%$. On all six MedMNIST-v2 tasks, the discovered architectures surpass the strongest listed baselines. A controlled CIFAR-10 study further shows that EvoTreeNAD outperforms direct generation, best-of-$N$ greedy continuation, and full-family-mean routing.