RulePlanner: All-in-One Reinforcement Learner for Unifying Design Rules in 3D Floorplanning
作者: Ruizhe Zhong, Xingbo Du, Junchi Yan
分类: cs.AR, cs.AI
发布日期: 2026-01-30
🔗 代码/项目: GITHUB
💡 一句话要点
RulePlanner：用于3D Floorplanning中统一设计规则的一体化强化学习器
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: Floorplanning 三维布局 强化学习 集成电路设计 设计规则 动作空间约束
📋 核心要点
- 现有Floorplanning方法难以同时满足复杂的硬件设计规则，需要大量人工调整。
- 提出RulePlanner，通过新颖的矩阵表示、约束动作空间和量化奖励，统一处理多种设计规则。
- 实验表明，该方法在公共基准上有效，并具有良好的迁移性，可扩展适应新规则。
📝 摘要（中文）
Floorplanning决定了集成电路中每个模块的坐标和形状。随着技术节点的缩小，Floorplanning阶段，特别是具有多个堆叠层的3D场景，越来越难以遵守复杂的硬件设计规则。目前的方法只能处理特定和有限的设计规则，而违反其他规则需要人工和细致的调整。这导致专家工程师需要进行劳动密集型和耗时的后处理。本文提出了一种基于深度强化学习的一体化方法来应对这些挑战，并为实际IC设计规则设计了新颖的表示，这些规则以前的方法没有解决。具体来说，各种硬件设计规则的处理被统一到一个具有三个关键组件的框架中：1) 用于建模设计规则的新型矩阵表示，2) 对动作空间的约束，以过滤掉导致规则违反的无效动作，以及 3) 对约束满足情况的定量分析作为奖励信号。在公共基准上的实验证明了我们方法的有效性和正确性。此外，在未见过的电路上的可迁移性得到了很好的证明。我们的框架是可扩展的，可以适应新的设计规则，从而为应对未来芯片设计中出现的新挑战提供灵活性。代码将在https://github.com/Thinklab-SJTU/EDA-AI 上提供。
🔬 方法详解
问题定义：Floorplanning旨在确定集成电路中模块的布局，但随着芯片复杂性增加，需要满足的设计规则也日益复杂。现有方法通常只能处理特定的规则，对于其他规则的违反需要手动调整，导致耗时耗力。尤其是在3D Floorplanning中，多层堆叠结构使得规则冲突更加难以避免。
核心思路：论文的核心在于将各种设计规则的处理统一到一个强化学习框架中。通过将设计规则表示为矩阵，并结合动作空间约束和奖励函数设计，使得智能体能够学习如何在满足所有规则的前提下进行Floorplanning。这种一体化的方法避免了针对不同规则分别设计算法的复杂性。
技术框架：RulePlanner框架包含三个主要组成部分：1) 设计规则的矩阵表示：将各种硬件设计规则编码为矩阵形式，以便于强化学习算法处理。2) 动作空间约束：在智能体选择动作时，排除那些会导致规则违反的无效动作，从而保证布局的合法性。3) 奖励信号设计：基于约束满足情况的定量分析，设计奖励函数，引导智能体学习满足所有规则的布局。整体流程是，智能体根据当前布局状态和规则矩阵，选择一个动作，如果动作违反约束则被排除，否则执行动作并获得奖励，然后进入下一个状态，直到完成Floorplanning。
关键创新：该方法最重要的创新在于将各种不同的设计规则统一到一个强化学习框架中进行处理。以往的方法通常针对特定规则进行优化，缺乏通用性。RulePlanner通过矩阵表示、动作空间约束和奖励函数设计，实现了对多种规则的统一建模和优化。此外，该方法还具有良好的可扩展性，可以方便地添加新的设计规则。
关键设计：论文中设计规则的矩阵表示是关键。具体如何将各种规则（例如间距规则、对齐规则等）转化为矩阵形式，以及如何利用这些矩阵进行动作空间约束和奖励函数设计，是需要进一步研究的技术细节。此外，强化学习算法的选择（例如，使用哪种Actor-Critic算法），以及网络结构的设计，也会影响最终的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RulePlanner在公共基准测试中表现出色，能够有效地生成满足各种设计规则的3D Floorplanning方案。此外，该方法还具有良好的迁移性，可以在未见过的电路设计中应用。这些结果验证了RulePlanner的有效性和通用性。
🎯 应用场景
RulePlanner可应用于集成电路设计的Floorplanning阶段，帮助工程师快速生成满足各种设计规则的芯片布局。该方法能够显著减少人工调整的工作量，缩短芯片设计周期，并提高芯片的性能和可靠性。未来，该方法有望扩展到其他布局优化问题，例如PCB设计、建筑设计等。
📄 摘要（原文）
Floorplanning determines the coordinate and shape of each module in Integrated Circuits. With the scaling of technology nodes, in floorplanning stage especially 3D scenarios with multiple stacked layers, it has become increasingly challenging to adhere to complex hardware design rules. Current methods are only capable of handling specific and limited design rules, while violations of other rules require manual and meticulous adjustment. This leads to labor-intensive and time-consuming post-processing for expert engineers. In this paper, we propose an all-in-one deep reinforcement learning-based approach to tackle these challenges, and design novel representations for real-world IC design rules that have not been addressed by previous approaches. Specifically, the processing of various hardware design rules is unified into a single framework with three key components: 1) novel matrix representations to model the design rules, 2) constraints on the action space to filter out invalid actions that cause rule violations, and 3) quantitative analysis of constraint satisfaction as reward signals. Experiments on public benchmarks demonstrate the effectiveness and validity of our approach. Furthermore, transferability is well demonstrated on unseen circuits. Our framework is extensible to accommodate new design rules, thus providing flexibility to address emerging challenges in future chip design. Code will be available at: https://github.com/Thinklab-SJTU/EDA-AI