Can AI Agents Really Complete RTL-to-GDS? Lessons from Benchmarking Tool-Interactive EDA Workflows

📄 arXiv: 2607.17528v1 📥 PDF

作者: Jinyuan Deng, Zhengrui Chen, Xufeng Wei, Tianyu Xing, Chenyi Wen, Cheng Zhuo

分类: cs.AI, cs.AR, cs.LG

发布日期: 2026-07-20

💡 一句话要点

提出FluxBench以评估AI代理在EDA工作流中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电子设计自动化 AI代理 EDA工作流 性能评估 Token ROI RTL到GDS 系统评估 自动化设计

📋 核心要点

  1. 现有方法主要评估单一语言模型在孤立EDA任务上的表现，缺乏对完整工作流的综合分析。
  2. 本文提出FluxBench，通过统一的提示和工具环境，系统性评估AI代理在端到端EDA工作流中的表现。
  3. 实验结果表明，不同代理系统架构的性能差异显著，Token ROI指标显示出成本效率的巨大差异。

📝 摘要（中文）

随着大型语言模型驱动的代理系统在电子设计自动化（EDA）领域的兴起，自动化复杂设计工作流的潜力逐渐显现。然而，现有评估主要集中在单一语言模型的孤立任务上，缺乏对不同代理系统在完整EDA流程中的表现的深入分析。本文提出FluxBench，系统性地评估AI代理在统一提示、工具环境和技术库设置下的端到端EDA工作流。评估涵盖了RTL生成和使用商业EDA工具的RTL到GDS流程等代表性场景。通过这些工作流，我们评估了代理在RTL代码生成、迭代修复、工具反馈利用、逻辑综合、布局与布线（P&R）及工程变更订单（ECO）自动化等方面的能力。实验结果显示，即使基于相同的基础模型，不同代理系统架构的性能差距可达86.27%。

🔬 方法详解

问题定义：本文旨在解决现有评估方法对AI代理在完整EDA工作流中表现的不足，现有方法往往只关注单一任务，缺乏全面性和系统性。

核心思路：通过FluxBench，本文提出了一种系统化的评估框架，涵盖从RTL生成到GDS转换的完整流程，旨在比较不同AI代理系统的性能。

技术框架：FluxBench的整体架构包括统一的提示设计、工具环境设置和技术库配置，评估流程涵盖RTL代码生成、逻辑综合、布局与布线等多个阶段。

关键创新：最重要的创新在于引入Token ROI这一成本效率指标，能够有效衡量EDA工件的改进效果与资源消耗之间的关系，强调了代理系统设计与基础模型能力的协同作用。

关键设计：在实验中，采用了多种代理系统架构，并通过对比分析不同系统在相同任务下的表现，设置了多项性能指标以评估其有效性。具体参数和损失函数设计未在摘要中详细说明，需参考原文获取更多细节。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，在RTL到GDS流程中，FluxEDA的端到端得分高达97.94，超越了具备领域特定EDA技能的Claude Code，提升幅度达到8.39倍。这表明，仅有领域特定技能不足以提升代理在大规模EDA场景中的表现。

🎯 应用场景

该研究的潜在应用领域包括电子设计自动化、集成电路设计及相关行业，能够为设计工程师提供更高效的工具支持，提升设计流程的自动化水平。未来，该方法可能推动EDA工具的智能化发展，促进更复杂设计任务的自动化实现。

📄 摘要（原文）

LLM-driven agent systems have emerged as a promising paradigm for electronic design automation (EDA), demonstrating strong potential for automating complex design workflows. However, existing evaluations primarily examine individual language models on isolated EDA tasks, providing limited insight into how different agent systems perform across complete EDA flows. In this work, we present FluxBench, a systematic evaluation of AI agents on end-to-end EDA workflows under unified prompts, tool environments, and technology library settings. Our evaluation covers representative scenarios, including RTL generation with open-source toolchains and an RTL-to-GDS flow using closed-source commercial EDA tools for industrial applications. Through these workflows, we assess agents' capabilities in RTL code generation, iterative repair, tool-feedback utilization, logic synthesis, placement and routing (P&R), and Engineering Change Order (ECO) automation. To further characterize the efficiency of agent systems, we introduce Token ROI, a cost-efficiency metric that measures effective improvements in EDA artifacts relative to token usage and runtime cost. Experimental results show that, even when built on the same foundation model, different agent system architectures can exhibit performance gaps of up to 86.27%. Moreover, among systems with comparable task performance, Token ROI can differ by as much as $105.92\times$. In the RTL-to-GDS flow using PicoRV32 as a case study, FluxEDA achieves an end-to-end score of up to 97.94, outperforming Claude Code equipped with domain-specific EDA skills by up to $8.39\times$. These results indicate that domain-specific skills alone are insufficient to improve agent performance in large-scale EDA scenarios. Instead, both agent system design and foundation model capability play critical roles in enabling effective automated EDA workflows.