Curriculum Learning with GNN-based Reinforcement Learning for Job Shop Scheduling

📄 arXiv: 2609.28085v1 📥 PDF

作者: Jayakrishnan K. Vasudevan, Jonathan Hoss, Noah Klarmann

分类: cs.LG, cs.AI

发布日期: 2026-09-23

备注: This paper has been accepted for presentation at the IEEE 10th International Conference on Computational Systems and Information Technology for Sustainable Solutions (CSITSS 2026)

💡 一句话要点

提出基于图神经网络的课程学习以解决作业车间调度问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 作业车间调度 图神经网络 强化学习 课程学习 组合优化 调度策略 计算效率

📋 核心要点

  1. 作业车间调度问题的现有强化学习方法在处理大规模实例时计算开销高，且泛化能力不足。
  2. 本文提出通过课程学习策略，先在小规模实例上训练，再逐步适应大规模实例，以提高学习效率和效果。
  3. 实验结果显示，课程学习显著减少了训练时间，尤其在30x30规模下，平均最优性差距降低约8.1个百分点。

📝 摘要（中文）

作业车间调度问题是一项具有挑战性的组合优化问题，近期基于图神经网络的强化学习方法在直接从问题实例中学习调度策略方面展现出良好前景。然而，在大规模实例上的训练仍然计算开销巨大，且跨实例规模的泛化能力面临挑战。本文研究了图神经网络强化学习在作业车间调度问题中的课程学习，通过与单一规模训练进行比较，分析了在20x20、25x25和30x30三个目标规模上的表现。在课程学习设置中，策略首先在较小实例上训练，然后逐步适应更大的目标规模，从而使早期阶段学习的调度行为支持对更大实例的学习。结果表明，课程学习在减少训练时间方面表现出一致性，且随着目标规模的增加，效果更为显著。特别是在30x30规模下，课程学习使所有评估规模的平均最优性差距降低约8.1个百分点，目标规模的平均最优性差距降低约8.6个百分点，并节省了约50小时的训练时间。

🔬 方法详解

问题定义：本文旨在解决作业车间调度问题中的计算复杂性和泛化能力不足的问题。现有方法在处理大规模实例时，训练时间长且效果不佳。

核心思路：通过课程学习策略，首先在小规模实例上训练模型，然后逐步扩展到大规模实例，利用早期学习的知识来支持后续的学习过程。

技术框架：整体架构包括三个主要阶段：首先在20x20规模上进行初步训练，接着在25x25规模上进行适应性训练，最后在30x30规模上进行优化训练。每个阶段都利用前一阶段的学习成果。

关键创新：最重要的创新在于引入课程学习机制，使得模型能够在不同规模的实例上进行有效的知识迁移，从而提升整体学习效率和调度性能。

关键设计：在模型训练中，采用了特定的损失函数来平衡不同规模实例的学习，同时设计了适应性学习率以优化训练过程。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，课程学习方法在30x30规模下的表现尤为突出，平均最优性差距降低约8.1个百分点，目标规模的平均最优性差距降低约8.6个百分点，同时节省了约50小时的训练时间，展现了显著的效率提升。

🎯 应用场景

该研究的潜在应用领域包括制造业的生产调度、物流管理以及任何需要高效资源分配的场景。通过优化调度策略，可以显著提高生产效率，降低成本，并在未来推动智能制造的发展。

📄 摘要（原文）

The job shop scheduling problem is a challenging combinatorial optimization problem, and recent reinforcement learning approaches using graph neural networks have shown promise for learning scheduling policies directly from problem instances. However, training on large instances remains computationally expensive, and generalization across instance sizes remains challenging. This paper studies curriculum learning for graph neural network-based reinforcement learning in the job shop scheduling problem by comparing it with single-size training across three target sizes: 20 x 20, 25 x 25, and 30 x 30. In the curriculum setting, the policy is first trained on smaller instances and then progressively adapted to larger target sizes, allowing scheduling behavior learned in earlier stages to support learning on larger instances. Models are evaluated on unseen instances from 8 x 8 to 30 x 30 using the optimality gap, considering both generalization across all evaluation sizes and specialization on the target size. Results show that curriculum learning consistently reduces wall-clock training time, with larger benefits as the target size increases. The strongest advantage is observed at 30 x 30, where curriculum learning reduces the mean optimality gap across all evaluation sizes by approximately 8.1 percentage points, reduces the target-size mean optimality gap by approximately 8.6 percentage points, and saves approximately 50 hours of training time.