PORL: Pretrained Offline Reinforcement Learning for the Job Shop Scheduling Problem

📄 arXiv: 2609.30948v1 📥 PDF

作者: Mateo Toro Diz, Jonathan Hoss, Noah Klarmann

分类: cs.LG, cs.AI

发布日期: 2026-09-25

备注: This paper has been accepted for presentation at the IEEE 10th International Conference on Computational Systems and Information Technology for Sustainable Solutions (CSITSS 2026)

💡 一句话要点

提出PORL以解决作业车间调度问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 作业车间调度 离线强化学习 预训练模型 调度优化 工业应用

📋 核心要点

  1. 现有的调度方法通常依赖于模拟环境，可能导致模拟与现实之间的差距，影响实际应用效果。
  2. 本文提出的PORL方法通过在线预训练和离线微调相结合，能够有效适应特定的生产环境，提高调度策略的质量。
  3. 实验结果显示，PORL在不同数据集上表现优异，尤其在数据质量较低时，相较于单独的离线强化学习表现出更强的鲁棒性。

📝 摘要（中文）

作业车间调度问题（JSSP）是工业优化中的一个基本组合优化问题。本文提出了一种预训练离线强化学习（PORL）的方法，结合了基于模拟的在线预训练与针对特定生产数据的离线微调。通过在线交互的强化学习能够探索一般调度策略，但通常依赖于模拟环境，可能面临模拟与现实之间的差距。相对而言，离线强化学习通过学习历史数据避免直接与环境交互，但其性能受数据集质量和覆盖范围的强烈影响。PORL通过首先在线学习一般调度策略，然后在目标分布上进行离线适应，结合了两者的优势。引入基于KL散度的策略约束以限制微调过程中与预训练策略的偏差。实验结果表明，PORL在具有分布偏移的JSSP实例上，始终实现了比单独的离线强化学习和一般调度基线更低的最优性差距。

🔬 方法详解

问题定义：本文旨在解决作业车间调度问题（JSSP），现有方法在模拟环境中训练，可能导致与实际应用的效果不一致，且离线强化学习的性能受限于数据集的质量和覆盖范围。

核心思路：PORL方法通过先进行在线预训练以学习一般调度策略，再通过离线微调适应特定的生产数据，从而结合了在线和离线强化学习的优点，减少了对高质量数据的依赖。

技术框架：该方法的整体架构包括两个主要阶段：第一阶段是基于模拟环境的在线预训练，第二阶段是利用历史数据进行离线微调。在微调过程中，使用KL散度约束来限制与预训练策略的偏差。

关键创新：PORL的主要创新在于将在线学习与离线适应相结合，通过引入KL散度约束，确保微调过程中的策略稳定性。这一设计使得模型在面对数据质量不佳时仍能保持较好的性能。

关键设计：在技术细节上，PORL采用了基于KL散度的损失函数来控制策略的变化，确保微调后的策略不会偏离预训练策略过远。此外，模型的网络结构设计考虑了调度问题的特性，以提高学习效率和效果。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，PORL在具有分布偏移的JSSP实例上，始终实现了比单独的离线强化学习更低的最优性差距，且在数据质量较低的情况下，性能提升幅度显著，显示出较强的鲁棒性和适应性。

🎯 应用场景

该研究的潜在应用领域包括制造业、物流调度和供应链管理等，能够为工业界提供高效的调度解决方案。通过优化调度策略，企业可以提高生产效率，降低成本，增强市场竞争力。未来，该方法有望推广到更广泛的工业调度场景中，推动智能制造的发展。

📄 摘要（原文）

The Job Shop Scheduling Problem (JSSP) is a fundamental combinatorial optimization problem in industrial optimization. This work introduces Pretrained Offline Reinforcement Learning (PORL), a hybrid approach that combines simulation-based online pretraining with offline fine-tuning on production-specific data. Reinforcement learning through online interaction enables exploration of general scheduling strategies, but typically relies on simulation environments and may suffer from a simulation-to-reality gap. In contrast, offline RL avoids direct interaction with the environment by learning from historical data, but its performance is strongly influenced by dataset quality and coverage. PORL combines the strengths of both paradigms by first learning a general scheduling policy through online interaction and subsequently adapting it offline to a target distribution. A KL-divergence-based policy constraint is introduced to limit deviations from the pretrained policy during fine-tuning. The approach is evaluated on JSSP instances with distribution shift and datasets generated from heuristic, noisy-expert, and random behavioral policies. The results show that PORL consistently achieves lower optimality gaps than standalone offline RL and the considered general scheduling baselines. Furthermore, its advantage over standalone offline RL increases as dataset quality decreases, indicating reduced sensitivity to the quality and coverage of the available offline data. The results suggest that offline adaptation of pretrained policies is a promising approach for industrial scheduling environments where direct online exploration is impractical.