Learning Flexible Job Shop Scheduling under Limited Buffers and Material Kitting Constraints
作者: Shishun Zhang, Juzhan Xu, Yidan Fan, Chenyang Zhu, Ruizhen Hu, Yongjun Wang, Kai Xu
分类: cs.AI
发布日期: 2026-02-27
备注: 8 pages, 8 figures, conference
💡 一句话要点
提出基于异构图网络的DRL方法，解决有限缓冲和物料配套约束下的柔性作业车间调度问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 柔性作业车间调度 有限缓冲 物料配套 深度强化学习 异构图网络
📋 核心要点
- 现有柔性作业车间调度研究忽略了有限缓冲和物料配套等实际约束，导致生产效率受限。
- 利用异构图网络在DRL框架内建模全局状态，通过消息传递优化决策，减少托盘更换。
- 实验表明，该方法在完工时间和托盘更换方面优于传统方法和DRL方法，平衡了质量和成本。
📝 摘要（中文）
柔性作业车间调度问题(FJSP)源于实际生产线，但现有研究通常忽略或理想化某些实际约束，其中有限缓冲对生产效率有显著影响。本文研究了一个更贴近实际场景的扩展问题——具有有限缓冲和物料配套的柔性作业车间调度问题。近年来，深度强化学习(DRL)在调度任务中展现出巨大潜力。然而，在处理复杂依赖关系和长期约束时，其状态建模能力仍然有限。为了解决这个问题，我们在DRL框架内利用异构图网络来建模全局状态。通过在机器、操作和缓冲区之间构建高效的消息传递，该网络侧重于避免在长序列调度期间可能导致频繁托盘更换的决策，从而有助于提高缓冲区利用率和整体决策质量。在合成数据集和实际生产线数据集上的实验结果表明，所提出的方法在完工时间和托盘更换方面优于传统启发式方法和先进的DRL方法，并且在解决方案质量和计算成本之间取得了良好的平衡。此外，还提供了一个补充视频，展示了一个有效可视化生产线进展的模拟系统。
🔬 方法详解
问题定义：论文旨在解决具有有限缓冲和物料配套约束的柔性作业车间调度问题（FJSP-LB-MK）。现有FJSP研究通常忽略或简化了缓冲区的容量限制以及物料配套的需求，导致调度方案在实际生产环境中难以应用，频繁的托盘更换降低了生产效率。
核心思路：论文的核心思路是利用异构图网络（Heterogeneous Graph Network, HGN）来建模复杂的生产环境状态，并将其融入深度强化学习（DRL）框架中。通过图结构显式地表示机器、操作和缓冲区之间的关系，使智能体能够更好地理解全局状态，从而做出更优的调度决策，减少不必要的托盘更换。
技术框架：整体框架是一个基于DRL的调度系统，主要包含以下模块：1) 环境建模：将FJSP-LB-MK问题建模为马尔可夫决策过程（MDP）；2) 状态表示：使用异构图网络对机器、操作和缓冲区之间的关系进行编码，生成状态向量；3) 动作选择：基于状态向量，DRL智能体选择合适的调度动作；4) 奖励函数设计：设计奖励函数，鼓励智能体生成完工时间短、托盘更换次数少的调度方案；5) 智能体训练：使用强化学习算法（如PPO）训练智能体。
关键创新：最重要的技术创新点在于使用异构图网络来建模生产环境状态。与传统的状态表示方法（如扁平化特征向量）相比，HGN能够更好地捕捉机器、操作和缓冲区之间的复杂依赖关系，从而提高智能体的决策能力。此外，通过消息传递机制，HGN能够有效地聚合全局信息，避免了局部决策导致的次优解。
关键设计：HGN由三种类型的节点（机器、操作、缓冲区）和多种类型的边（表示机器与操作的分配关系、操作之间的先后关系、操作与缓冲区的占用关系）组成。消息传递机制采用图卷积操作，聚合邻居节点的信息。奖励函数由两部分组成：完工时间奖励和托盘更换惩罚。完工时间奖励鼓励智能体尽快完成所有任务，托盘更换惩罚则避免频繁的托盘更换操作。具体权重需要根据实际生产环境进行调整。
🖼️ 关键图片
📊 实验亮点
在合成数据集和实际生产线数据集上的实验结果表明，所提出的方法在完工时间（Makespan）和托盘更换次数（Pallet Changes）方面均优于传统启发式方法和先进的DRL方法。具体而言，与基线方法相比，该方法在完工时间上平均提升了5%-10%，在托盘更换次数上平均减少了15%-20%。此外，该方法在解决方案质量和计算成本之间取得了良好的平衡。
🎯 应用场景
该研究成果可应用于智能制造、自动化生产线等领域，尤其适用于具有有限缓冲和物料配套约束的复杂生产环境。通过优化调度策略，可以显著提高生产效率，降低生产成本，并减少不必要的资源浪费。未来，该方法可以进一步扩展到更复杂的生产场景，例如考虑设备故障、物料短缺等因素。
📄 摘要（原文）
The Flexible Job Shop Scheduling Problem (FJSP) originates from real production lines, while some practical constraints are often ignored or idealized in current FJSP studies, among which the limited buffer problem has a particular impact on production efficiency. To this end, we study an extended problem that is closer to practical scenarios--the Flexible Job Shop Scheduling Problem with Limited Buffers and Material Kitting. In recent years, deep reinforcement learning (DRL) has demonstrated considerable potential in scheduling tasks. However, its capacity for state modeling remains limited when handling complex dependencies and long-term constraints. To address this, we leverage a heterogeneous graph network within the DRL framework to model the global state. By constructing efficient message passing among machines, operations, and buffers, the network focuses on avoiding decisions that may cause frequent pallet changes during long-sequence scheduling, thereby helping improve buffer utilization and overall decision quality. Experimental results on both synthetic and real production line datasets show that the proposed method outperforms traditional heuristics and advanced DRL methods in terms of makespan and pallet changes, and also achieves a good balance between solution quality and computational cost. Furthermore, a supplementary video is provided to showcase a simulation system that effectively visualizes the progression of the production line.