A Survey of Circuit Foundation Model: Foundation AI Models for VLSI Circuit Design and EDA
作者: Wenji Fang, Jing Wang, Yao Lu, Shang Liu, Yuchao Wu, Yuzhe Ma, Zhiyao Xie
分类: cs.AR, cs.LG
发布日期: 2025-03-28
💡 一句话要点
综述电路基础模型：用于VLSI电路设计和EDA的基础AI模型
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 电路基础模型 VLSI设计 EDA 自监督学习 预训练 大型语言模型 电路表示学习 生成模型
📋 核心要点
- 传统AI在VLSI电路设计中面临泛化性差、依赖大量标注数据、难以适应新任务等挑战。
- 论文提出电路基础模型（CFM）范式，通过自监督预训练和高效微调，提升模型泛化能力和适应性。
- 该综述全面回顾了电路基础模型的最新进展，涵盖130多篇论文，并对模型进行了分类和分析。
📝 摘要（中文）
人工智能驱动的电子设计自动化（EDA）技术已被广泛应用于VLSI电路设计。最近，电路基础AI模型作为一种新的技术趋势出现。与传统的特定任务AI解决方案不同，这些新的AI模型通过两个阶段开发：1) 在大量未标记数据上进行自监督预训练，以学习内在的电路属性；2) 针对特定的下游应用进行高效的微调，例如早期设计质量评估、电路相关上下文生成和功能验证。这种新范式带来了许多优势：模型泛化、减少对标记电路数据的依赖、高效适应新任务以及前所未有的生成能力。本文提出将使用这种新范式开发的AI模型称为电路基础模型（CFM）。本文全面综述了电路基础模型的最新进展，前所未有地涵盖了130多篇相关论文。超过90%的论文发表于2022年或之后，表明这一新兴研究趋势在短时间内引起了广泛关注。在本次调查中，我们建议将所有现有的电路基础模型分为两种主要类型：1) 基于编码器的方法，执行用于预测任务的通用电路表示学习；2) 基于解码器的方法，利用大型语言模型（LLM）进行生成任务。对于我们介绍的论文，我们涵盖了它们的输入模态、模型架构、预训练策略、领域自适应技术和下游设计应用。此外，本文还从数据的角度讨论了电路的独特属性。这些电路属性激发了该领域的许多工作，并将它们与通用AI技术区分开来。
🔬 方法详解
问题定义：当前VLSI电路设计中的AI方法通常是任务特定的，需要大量标注数据，并且泛化能力有限。针对新任务或新电路类型，需要重新训练模型，效率低下。现有方法难以充分利用电路数据中蕴含的丰富信息，也缺乏生成新电路设计的能力。
核心思路：借鉴自然语言处理领域的基础模型思想，通过在大量未标注的电路数据上进行自监督预训练，使模型能够学习到电路的内在属性和通用表示。然后，针对特定的下游任务，使用少量标注数据进行微调，从而实现高效的模型迁移和泛化。
技术框架：该综述将电路基础模型分为两类：基于编码器的方法和基于解码器的方法。基于编码器的方法主要用于电路表示学习和预测任务，例如电路性能预测、故障诊断等。基于解码器的方法则利用大型语言模型（LLM）进行生成任务，例如电路上下文生成、电路设计生成等。整体流程包括数据收集、预训练、微调和部署四个阶段。
关键创新：该综述首次系统性地提出了“电路基础模型”的概念，并对现有相关工作进行了全面的梳理和分类。强调了电路数据的独特性质，例如电路拓扑结构、电路元件之间的关系等，这些性质对模型设计和预训练策略具有重要影响。
关键设计：不同的电路基础模型采用不同的预训练策略，例如对比学习、掩码语言模型等。在微调阶段，通常采用迁移学习的方法，将预训练好的模型参数作为初始值，然后使用特定任务的数据进行微调。损失函数的选择取决于具体的下游任务，例如回归任务可以使用均方误差损失，分类任务可以使用交叉熵损失。
🖼️ 关键图片
📊 实验亮点
该综述涵盖了130多篇相关论文，其中90%以上发表于2022年或之后，表明电路基础模型是一个新兴且快速发展的研究领域。论文对现有电路基础模型进行了详细的分类和分析，并总结了各种模型的优缺点。此外，论文还讨论了电路数据的独特性质，为未来的研究提供了重要的参考。
🎯 应用场景
电路基础模型在VLSI电路设计和EDA领域具有广泛的应用前景，包括早期设计质量评估、电路相关上下文生成、功能验证、电路优化和新电路设计生成等。该技术可以加速电路设计流程，降低设计成本，并提高电路性能。未来，电路基础模型有望成为电路设计自动化领域的核心技术。
📄 摘要（原文）
Artificial intelligence (AI)-driven electronic design automation (EDA) techniques have been extensively explored for VLSI circuit design applications. Most recently, foundation AI models for circuits have emerged as a new technology trend. Unlike traditional task-specific AI solutions, these new AI models are developed through two stages: 1) self-supervised pre-training on a large amount of unlabeled data to learn intrinsic circuit properties; and 2) efficient fine-tuning for specific downstream applications, such as early-stage design quality evaluation, circuit-related context generation, and functional verification. This new paradigm brings many advantages: model generalization, less reliance on labeled circuit data, efficient adaptation to new tasks, and unprecedented generative capability. In this paper, we propose referring to AI models developed with this new paradigm as circuit foundation models (CFMs). This paper provides a comprehensive survey of the latest progress in circuit foundation models, unprecedentedly covering over 130 relevant works. Over 90% of our introduced works were published in or after 2022, indicating that this emerging research trend has attracted wide attention in a short period. In this survey, we propose to categorize all existing circuit foundation models into two primary types: 1) encoder-based methods performing general circuit representation learning for predictive tasks; and 2) decoder-based methods leveraging large language models (LLMs) for generative tasks. For our introduced works, we cover their input modalities, model architecture, pre-training strategies, domain adaptation techniques, and downstream design applications. In addition, this paper discussed the unique properties of circuits from the data perspective. These circuit properties have motivated many works in this domain and differentiated them from general AI techniques.