Reinforcement Learning-Based Optimization of Workload-Aware Power Delivery Networks

📄 arXiv: 2610.06148v1 📥 PDF

作者: Oran Hayes, Maria Pantazi-Kypraiou, Athanasios Tziouvaras, George Stamoulis, Anuj Pathania, Shreejith Shanker, George Floros

分类: cs.AR, cs.LG

发布日期: 2026-10-05

备注: Accepted at ICECS 2026

💡 一句话要点

提出基于强化学习的优化方法以解决PDN设计效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 电源分配网络 强化学习 优化方法 电迁移 IR降压 VLSI设计 深度Q网络 资源分配

📋 核心要点

  1. 传统PDN设计方法依赖最坏情况假设，导致资源浪费和效率低下。
  2. 提出基于强化学习的框架，通过工作负载感知优化PDN设计，动态分配资源。
  3. 实验结果表明，DQN优化器将PDN面积减少47%，且优化速度提升约26倍。

📝 摘要（中文）

电源分配网络（PDN）是现代VLSI芯片的关键组件，负责提供稳定的电压水平并满足电迁移（EM）和IR降压约束。传统的PDN设计方法通常依赖于最坏情况假设，导致网络过度配置和资源利用效率低下。本文提出了一种基于强化学习的框架，用于优化工作负载感知的PDN。该方法首先利用系统级仿真获得的架构功率轨迹生成工作负载感知的PDN，并将这些功率轨迹映射到空间功率密度分布上，从而根据局部电流需求自适应分配PDN资源。强化学习代理随后执行线宽优化，以在保持EM和电压完整性约束的同时最小化PDN面积。实验评估显示，所提的深度Q网络（DQN）优化器将平均归一化PDN面积减少了47%，同时满足所有EM和IR降压约束。

🔬 方法详解

问题定义：本文旨在解决传统PDN设计中因依赖最坏情况假设而导致的资源浪费和效率低下的问题。现有方法往往未能充分考虑实际工作负载的变化，导致设计不够灵活和高效。

核心思路：论文提出了一种基于强化学习的优化框架，利用系统级仿真生成的工作负载感知功率轨迹，动态调整PDN资源分配，以适应局部电流需求，从而提高设计效率。

技术框架：整体架构包括三个主要模块：首先，通过系统级仿真获得功率轨迹；其次，将功率轨迹映射到空间功率密度分布；最后，强化学习代理执行线宽优化，确保在满足EM和电压完整性约束的同时，最小化PDN面积。

关键创新：最重要的技术创新在于将强化学习应用于PDN设计优化，尤其是通过DQN算法实现的自适应资源分配和线宽优化，与传统的基于最坏情况的设计方法形成鲜明对比。

关键设计：在设计中，采用了SPICE电路分析和EM寿命估计来获取电气和可靠性指标，优化过程中设置了特定的损失函数以平衡面积和性能，同时确保满足EM和IR降压约束。实验中使用了来自4、8和16核多处理器的PARSEC和SPLASH-2基准工作负载生成的数据集。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，所提出的DQN优化器将平均归一化PDN面积减少了47%，同时满足所有电迁移和IR降压约束。此外，与模拟退火方法相比，该方法在优化质量上表现相当，但优化速度提升约26倍，显示出显著的效率优势。

🎯 应用场景

该研究的潜在应用领域包括高性能计算、移动设备和嵌入式系统等，能够显著提升电源分配网络的设计效率和资源利用率。通过优化PDN设计，能够降低功耗、提高芯片的可靠性和性能，具有重要的实际价值和广泛的市场前景。

📄 摘要（原文）

Power Delivery Networks (PDNs) are critical components of modern VLSI chips, providing stable voltage levels while satisfying electromigration (EM) and IR-drop constraints. Conventional PDN design methodologies typically rely on worst-case assumptions, often resulting in over-provisioned networks and inefficient use of resources. This paper presents a reinforcement learning-based framework for the optimization of workload-aware PDNs. The proposed methodology first generates workload-aware PDNs using architectural power traces obtained from system-level simulations. These power traces are mapped to spatial power density distributions, enabling adaptive allocation of PDN resources according to local current demand. A reinforcement learning agent then performs wire-width optimization to minimize PDN area while maintaining EM and voltage integrity constraints. Electrical and reliability metrics are obtained using SPICE-based circuit analysis and EM lifetime estimation. Experimental evaluation is performed on a dataset of workload-aware PDNs generated from 4-, 8-, and 16-core multiprocessor floorplans using PARSEC and SPLASH-2 benchmark workloads. Furthermore, the proposed Deep Q-Network (DQN)-based optimizer reduces the average normalized PDN area by 47\% while satisfying all EM and IR-drop constraints. Compared to simulated annealing, the proposed approach achieves comparable optimization quality while providing approximately 26$\times$ faster optimization.