Learning to Optimize Capacity Planning in Semiconductor Manufacturing
作者: Philipp Andelfinger, Jieyi Bi, Qiuyu Zhu, Jianan Zhou, Bo Zhang, Fei Fei Zhang, Chew Wye Chan, Boon Ping Gan, Wentong Cai, Jie Zhang
分类: cs.LG
发布日期: 2025-09-19
💡 一句话要点
提出基于异构图神经网络的深度强化学习模型，优化半导体制造中的产能规划。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 产能规划 半导体制造 深度强化学习 异构图神经网络 智能制造
📋 核心要点
- 半导体制造中，启发式产能规划难以应对复杂流程交互导致的瓶颈。
- 提出基于异构图神经网络的深度强化学习模型，直接捕捉机器和工序关系。
- 实验表明，该策略在吞吐量和周期时间上均有约1.8%的提升。
📝 摘要（中文）
在制造业中，产能规划是根据可变需求分配生产资源的过程。目前半导体制造业的行业实践通常应用启发式规则来确定行动的优先级，例如考虑即将到来的机器和配方分配的未来变更列表。然而，虽然启发式方法具有可解释性，但它们无法轻易地解释沿流程的复杂交互，这些交互可能逐渐导致瓶颈的形成。本文提出了一种基于神经网络的机器级别产能规划模型，该模型使用深度强化学习进行训练。通过使用异构图神经网络表示策略，该模型直接捕获机器和处理步骤之间的各种关系，从而实现主动决策。我们描述了为实现足够的可扩展性以应对大量可能的机器级别操作而采取的若干措施。我们的评估结果涵盖了英特尔的小规模Minifab模型和使用流行的SMT2020测试平台的初步实验。在最大的测试场景中，我们训练的策略将吞吐量和周期时间分别提高了约1.8%。
🔬 方法详解
问题定义：半导体制造中的产能规划问题，目标是在给定需求下，优化生产资源的分配。现有方法主要依赖启发式规则，这些规则虽然易于理解，但无法有效处理复杂流程中机器和工序之间的相互作用，容易导致瓶颈，影响生产效率。
核心思路：利用深度强化学习（DRL）训练一个神经网络策略，直接学习如何进行机器级别的产能规划决策。核心在于使用异构图神经网络（HGNN）来表示策略，从而能够显式地建模机器和工序之间的复杂关系。通过学习，模型能够主动预测潜在的瓶颈并采取相应的行动。
技术框架：整体框架包括一个基于异构图神经网络的策略网络和一个强化学习训练循环。策略网络接收当前制造系统的状态作为输入，输出每个机器上可执行动作的概率分布。强化学习训练循环使用环境（例如，半导体制造仿真器）来评估策略的性能，并使用奖励信号来更新策略网络的参数。
关键创新：主要创新在于使用异构图神经网络来表示产能规划策略。传统的神经网络难以捕捉机器和工序之间的复杂关系，而HGNN能够显式地建模这些关系，从而使模型能够做出更明智的决策。此外，论文还采取了多种措施来提高模型的可扩展性，使其能够处理大规模的半导体制造系统。
关键设计：策略网络使用异构图神经网络，其中节点表示机器和工序，边表示它们之间的关系。网络结构包括多个图卷积层，用于聚合来自相邻节点的信息。损失函数基于强化学习的策略梯度方法，目标是最大化累积奖励。为了提高训练效率，论文可能采用了经验回放、目标网络等技术。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在英特尔的Minifab模型和SMT2020测试平台上，该方法均取得了显著的性能提升。在最大的测试场景中，与现有方法相比，该方法将吞吐量和周期时间分别提高了约1.8%。这些结果验证了该方法在实际应用中的有效性。
🎯 应用场景
该研究成果可应用于半导体制造、智能工厂等领域，通过优化产能规划，提高生产效率、降低生产成本。该方法能够有效应对复杂生产流程中的瓶颈问题，实现更智能、更高效的生产管理。未来，该技术有望推广到其他类型的制造业，助力产业升级。
📄 摘要（原文）
In manufacturing, capacity planning is the process of allocating production resources in accordance with variable demand. The current industry practice in semiconductor manufacturing typically applies heuristic rules to prioritize actions, such as future change lists that account for incoming machine and recipe dedications. However, while offering interpretability, heuristics cannot easily account for the complex interactions along the process flow that can gradually lead to the formation of bottlenecks. Here, we present a neural network-based model for capacity planning on the level of individual machines, trained using deep reinforcement learning. By representing the policy using a heterogeneous graph neural network, the model directly captures the diverse relationships among machines and processing steps, allowing for proactive decision-making. We describe several measures taken to achieve sufficient scalability to tackle the vast space of possible machine-level actions. Our evaluation results cover Intel's small-scale Minifab model and preliminary experiments using the popular SMT2020 testbed. In the largest tested scenario, our trained policy increases throughput and decreases cycle time by about 1.8% each.