RocketPPA: Code-Level Power, Performance, and Area Prediction via LLM and Mixture of Experts

📄 arXiv: 2503.21971v3 📥 PDF

作者: Armin Abdollahi, Mehdi Kamal, Massoud Pedram

分类: cs.LG, cs.SE

发布日期: 2025-03-27 (更新: 2025-06-10)

💡 一句话要点

提出RocketPPA以解决硬件设计中的PPA估计问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 硬件设计 功耗估计 性能预测 面积估计 大语言模型 专家混合 低秩适应 HDL代码

📋 核心要点

  1. 现有方法在硬件设计中进行功耗、性能和面积（PPA）估计时，通常需要耗费大量时间和人工特征工程，效率低下。
  2. RocketPPA通过结合大语言模型和专家混合架构，直接在代码级别进行PPA估计，显著提高了估计速度和准确性。
  3. 实验结果显示，RocketPPA在10%相对误差阈值下，面积、延迟和功耗的预测准确率分别提高了13.6%、9.4%和14.7%。

📝 摘要（中文）

本文提出了RocketPPA，一种新颖的超快速功耗、性能（延迟）和面积（PPA）估计器，直接在代码级抽象上操作，使用HDL代码作为输入。其关键技术创新在于基于大语言模型（LLM）的回归模型，独特地将LLM与由多层感知器（MLP）组成的专家混合（MoE）架构相结合。LLM解析输入的HDL代码，并利用其最终隐藏层表示来预测PPA指标。通过低秩适应（LoRA）实现参数高效微调，从而提高LLM训练效率。实验结果表明，RocketPPA在VerilogEval基准测试中，相较于现有的最先进方法如Llama3-MetRex-8B，在PPA估计的准确性上有显著提升。

🔬 方法详解

问题定义：本文旨在解决硬件设计中PPA（功耗、性能和面积）估计的效率和准确性问题。现有方法通常依赖于复杂的手动特征工程和时间消耗的合成流程，导致设计周期延长。

核心思路：RocketPPA的核心思路是利用大语言模型（LLM）解析HDL代码，并结合专家混合（MoE）架构进行PPA估计。这种方法能够在代码级别直接进行高效的预测，避免了传统方法的复杂性。

技术框架：RocketPPA的整体架构包括输入HDL代码的解析、LLM的隐藏层表示提取、MoE架构的应用以及最终的PPA预测模块。通过低秩适应（LoRA）技术实现高效的模型微调。

关键创新：RocketPPA的主要创新在于将LLM与MoE架构相结合，利用LLM的强大语言理解能力和MoE的高效专家选择机制，从而显著提高了PPA估计的准确性和速度。

关键设计：在设计中，采用了低秩适应（LoRA）来进行参数高效微调，确保模型在训练时能够快速适应不同的HDL代码特征。此外，网络结构中多层感知器（MLP）的设计使得模型在处理复杂数据时具备更强的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RocketPPA在10%相对误差阈值下，面积、延迟和功耗的预测准确率分别提高了13.6%、9.4%和14.7%。在20%阈值下，提升幅度为9.6%、10.8%和18.5%。此外，RocketPPA在处理测试集时，相较于MetRex实现了超过20倍的加速，相较于MasterRTL实现了超过30倍的加速。

🎯 应用场景

RocketPPA的潜在应用领域包括硬件设计自动化、集成电路设计优化以及嵌入式系统开发等。通过提供早期的准确PPA估计，能够显著加速设计流程，降低开发成本，并提高设计质量，具有重要的实际价值和未来影响。

📄 摘要（原文）

This paper presents RocketPPA, a novel ultra-fast power, performance (delay), and area (PPA) estimator operating directly at the code-level abstraction using HDL code as input. The key technical innovation is its LLM-based regression model, which uniquely integrates a large language model (LLM) with a mixture-of-experts (MoE) architecture composed of multilayer perceptrons (MLPs). The LLM interprets the input HDL code and then utilizes its final hidden-layer representations to predict PPA metrics. Low-rank adaptation (LoRA) is used for parameter-efficient fine-tuning to enable efficient LLM training. Furthermore, the work includes the development of an LLM-based HDL code repair framework to generate a large and synthesizable training dataset. Experimental results on the VerilogEval benchmark demonstrate that RocketPPA achieves significant improvements in the accuracy of PPA estimation compared to previous state-of-the-art methods like Llama3-MetRex-8B. Specifically, at a 10% relative error threshold, RocketPPA enhances the pass rate for area prediction by 13.6%, delay by 9.4%, and power by 14.7%. At a 20% threshold, the improvements are 9.6% for area, 10.8% for delay, and 18.5% for power. Moreover, RocketPPA achieves a speedup of over 20x compared to MetRex and 30x over MasterRTL in processing the test set. The impact of RocketPPA is the potential to substantially accelerate the hardware design process by providing accurate PPA estimations early in the design cycle, thus avoiding the overhead of manual feature engineering and time-consuming synthesis flows.