GPlaceRL: An Open-Source Graph Reinforcement Learning Framework for Detailed Placement

📄 arXiv: 2610.06489v1 📥 PDF

作者: Pavlos Stoikos, Foteini Oikonomou, Christos Poulos, Maria Pantazi-Kypriou, Athanasios Tziouvaras, Christos Anagnostopoulos, Georgios Karakonstantis, George Floros

分类: cs.AI

发布日期: 2026-10-05

💡 一句话要点

提出GPlaceRL框架以解决详细布局优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图强化学习 详细布局优化 图神经网络 电路设计 电子设计自动化 开源框架

📋 核心要点

  1. 现有的布局优化方法主要集中在平面布局和宏观布局上，详细布局的优化研究相对较少，导致该领域的潜力未被充分挖掘。
  2. GPlaceRL框架通过将合法化的布局表示为图，提供了一个模块化的环境，便于研究不同的图编码器和策略架构，从而实现详细布局的优化。
  3. 在五个布局基准测试中，GPlaceRL的最佳贪婪评估结果显示HPWL的改善幅度在3.27%到32.87%之间，验证了其有效性和灵活性。

📝 摘要（中文）

强化学习（RL）已成为布局优化的有前景的方法，尤其是与图神经网络（GNN）结合时，能够捕捉电路连接性。然而，大多数基于学习的布局方法集中于平面布局、宏观布局或全局布局，而详细布局的优化仍然相对未被深入研究。本文提出了GPlaceRL，一个开源的图强化学习框架，用于详细布局优化。GPlaceRL将合法化的布局表示为图，并提供了一个模块化环境，以研究图编码器、策略架构、奖励公式和局部布局动作。通过对五个布局基准的系统评估，最佳贪婪评估结果显示HPWL改善范围为3.27%至32.87%。结果突显了紧凑的GAT架构和灵活的局部动作空间在布局优化中的重要性。总体而言，GPlaceRL为基于RL的详细布局优化研究提供了可重复和可扩展的框架。

🔬 方法详解

问题定义：本文旨在解决详细布局优化问题，现有方法多集中于宏观或全局布局，导致详细布局的优化研究不足，影响了电路设计的效率和性能。

核心思路：GPlaceRL框架通过将布局表示为图，结合图神经网络（GNN）和强化学习（RL），提供了一种新的方法来优化详细布局，特别是在局部动作空间的灵活性方面。

技术框架：GPlaceRL的整体架构包括图编码器、策略网络、奖励机制和局部动作选择模块，形成一个完整的强化学习优化流程。该框架支持不同的图编码器和策略架构的实验。

关键创新：GPlaceRL的主要创新在于将详细布局优化与图神经网络结合，利用图的结构信息进行有效的布局优化，这与传统方法的处理方式有本质区别。

关键设计：在设计中，采用了图注意力网络（GAT）作为编码器，灵活的局部动作空间设计，以及针对具体任务的奖励函数设置，以提高优化效果。具体参数和网络结构的选择经过多次实验验证，确保了框架的有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在五个布局基准测试中，GPlaceRL的最佳贪婪评估结果显示HPWL的改善幅度在3.27%到32.87%之间，表明该框架在详细布局优化方面的显著效果，尤其是在使用图注意力网络（GAT）编码器时的表现尤为突出。

🎯 应用场景

GPlaceRL框架具有广泛的应用潜力，特别是在集成电路设计、电子设计自动化（EDA）和其他需要高效布局优化的领域。其开源特性使得研究人员和工程师能够在此基础上进行进一步的研究和开发，推动相关技术的进步与应用。

📄 摘要（原文）

Reinforcement learning (RL) has emerged as a promising approach for placement optimization, particularly when combined with graph neural networks (GNNs) that capture circuit connectivity. However, most learning-based placement approaches focus on floorplanning, macro placement, or global placement, while detailed placement refinement remains relatively unexplored. In this paper, we present GPlaceRL, an open-source graph reinforcement learning framework for detailed placement refinement. GPlaceRL represents legalized placements as graphs and provides a modular environment for studying graph encoders, policy architectures, reward formulations, and local placement actions. To demonstrate the capabilities of GPlaceRL, we conduct a systematic evaluation of proximal policy optimization (PPO) policies with graph attention network (GAT) encoders in a per-design optimization setting. Across five placement benchmarks, the best greedy evaluation results achieve HPWL improvements ranging from $3.27\%$ to $32.87\%$. The results highlight the importance of compact GAT architectures and flexible local action spaces for placement optimization. Overall, GPlaceRL provides a reproducible and extensible framework for systematic research on RL-based detailed placement refinement.