JARVIS: A Multi-Agent Code Assistant for High-Quality EDA Script Generation

📄 arXiv: 2505.14978v2 📥 PDF

作者: Ghasem Pasandi, Kishor Kunal, Varun Tej, Kunjal Shah, Hanfei Sun, Sumit Jain, Chunhui Li, Chenhui Deng, Teodor-Dumitru Ene, Haoxing Ren, Sreedhar Pratty

分类: cs.SE, cs.AI, cs.LG

发布日期: 2025-05-20 (更新: 2025-08-15)

💡 一句话要点

JARVIS：用于高质量EDA脚本生成的多智能体代码助手

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电子设计自动化 EDA脚本生成 大型语言模型 多智能体系统 代码生成

📋 核心要点

  1. 现有EDA脚本生成方法面临数据稀缺和LLM幻觉错误的挑战，导致生成脚本的质量和可靠性不足。
  2. JARVIS采用多智能体框架，结合领域特定LLM、自定义编译器和高级检索机制，有效提升EDA脚本的质量。
  3. 实验结果表明，JARVIS在准确性和可靠性方面优于现有模型，为LLM在EDA领域的应用开辟了新途径。

📝 摘要（中文）

本文介绍了一种名为JARVIS的新型多智能体框架，该框架利用大型语言模型（LLM）和领域专业知识来生成用于专用电子设计自动化（EDA）任务的高质量脚本。通过结合使用经过合成生成数据训练的领域特定LLM、用于结构验证的自定义编译器、规则强制执行、代码修复功能和高级检索机制，我们的方法比最先进的领域特定模型取得了显着改进。我们的框架解决了LLM中的数据稀缺和幻觉错误带来的挑战，展示了LLM在专用工程领域中的潜力。我们在多个基准上评估了我们的框架，结果表明它在准确性和可靠性方面优于现有模型。我们的工作为LLM在EDA中的应用树立了新的先例，并为该领域的未来创新铺平了道路。

🔬 方法详解

问题定义：论文旨在解决电子设计自动化（EDA）领域中，利用大型语言模型（LLM）生成高质量EDA脚本的问题。现有方法，尤其是直接使用通用LLM或简单微调的领域特定LLM，面临数据稀缺和幻觉错误的挑战，导致生成的脚本在语法、语义和功能上可能存在错误，难以满足实际工程需求。

核心思路：JARVIS的核心思路是构建一个多智能体框架，将LLM的生成能力与领域知识、结构验证、规则强制执行和代码修复等机制相结合，从而提高生成EDA脚本的质量和可靠性。通过多个智能体协同工作，弥补LLM在领域知识方面的不足，并纠正其可能产生的错误。

技术框架：JARVIS框架包含以下主要模块：1) 领域特定LLM：使用合成数据进行训练，专注于EDA任务；2) 自定义编译器：用于对生成的脚本进行结构验证，确保语法和语义正确；3) 规则强制执行模块：根据EDA领域的特定规则，检查并修正脚本中的违规行为；4) 代码修复模块：利用领域知识和错误模式，自动修复脚本中的错误；5) 高级检索机制：从代码库中检索相关代码片段，辅助LLM生成更准确的脚本。整个流程是LLM生成初始脚本，然后通过编译器、规则引擎和修复模块进行迭代优化，最终生成高质量的EDA脚本。

关键创新：JARVIS的关键创新在于其多智能体协同框架，它不仅仅依赖于LLM的生成能力，而是将LLM与领域知识、验证和修复机制紧密结合。这种方法有效缓解了LLM在数据稀缺和幻觉错误方面的问题，显著提高了生成EDA脚本的质量。此外，自定义编译器和规则引擎的设计也针对EDA领域的特点进行了优化。

关键设计：领域特定LLM的训练数据是合成生成的，以解决数据稀缺问题。自定义编译器的设计考虑了EDA脚本的特定语法和语义规则。规则强制执行模块集成了EDA领域的常用规则和最佳实践。代码修复模块利用错误模式和领域知识，自动修复脚本中的常见错误。高级检索机制使用语义相似度匹配，从代码库中检索相关代码片段。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

JARVIS在多个EDA基准测试中表现出色，显著优于现有的领域特定模型。具体而言，JARVIS在脚本准确率方面取得了显著提升，错误率大幅降低。实验结果表明，JARVIS能够生成更可靠、更高效的EDA脚本，为电子设计自动化领域带来了实质性的改进。

🎯 应用场景

JARVIS可应用于各种电子设计自动化任务，例如逻辑综合、布局布线、时序分析和功耗优化等。它可以帮助工程师快速生成高质量的EDA脚本，提高设计效率，缩短产品上市时间。此外，JARVIS还可以作为教育工具，帮助新手学习EDA脚本编写。

📄 摘要（原文）

This paper presents JARVIS, a novel multi-agent framework that leverages Large Language Models (LLMs) and domain expertise to generate high-quality scripts for specialized Electronic Design Automation (EDA) tasks. By combining a domain-specific LLM trained with synthetically generated data, a custom compiler for structural verification, rule enforcement, code fixing capabilities, and advanced retrieval mechanisms, our approach achieves significant improvements over state-of-the-art domain-specific models. Our framework addresses the challenges of data scarcity and hallucination errors in LLMs, demonstrating the potential of LLMs in specialized engineering domains. We evaluate our framework on multiple benchmarks and show that it outperforms existing models in terms of accuracy and reliability. Our work sets a new precedent for the application of LLMs in EDA and paves the way for future innovations in this field.