Time-Lag-Aware Deep Reinforcement Learning for Flexible Job-Shop Scheduling in PPVC Module Factories
作者: Ziheng Zhang, Wei Zhang
分类: cs.LG, cs.AI, math.OC
发布日期: 2026-07-13
备注: 10 pages,5 figures, UR by IEEE TII
💡 一句话要点
提出时间延迟感知深度强化学习以解决模块化工厂的灵活作业车间调度问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 深度强化学习 灵活作业车间 调度优化 模块化工厂 时间延迟感知 生产效率 资源调度
📋 核心要点
- 现有调度方法未能有效处理由于混凝土固化等原因造成的长时间后操作延迟，导致调度效率低下。
- 论文提出了一种基于深度强化学习的调度方法，通过引入延迟感知动态和预期延迟特征通道来优化调度决策。
- 实验结果表明，所提方法在调度性能上优于传统调度规则和遗传算法，且在容量竞争情况下表现更佳。
📝 摘要（中文）
预制装配式建筑将大部分建筑工作转移到模块化工厂，这些工厂的生产流程类似于灵活作业车间。一个主要的复杂因素是由于混凝土固化、密封性测试和涂料干燥等原因造成的长时间后操作延迟，这些延迟会导致模块被阻塞，而其工作站却保持空闲。在基于官方国家预制指南的基准实例中，这些延迟平均使得最优参考完工时间增加约67%。我们通过三项最小侵入、可单独去除的扩展，改进了一种最先进的双重注意力深度强化学习求解器：延迟感知动态与可接受的奖励界限、两个预期延迟特征通道，以及活跃掩蔽的操作和站点类型嵌入。所有扩展被禁用时，实施结果完全再现原始求解器，因此所有收益均可归因于这些适应。我们发布了一个公共的基准生成器。在保留实例上，学习到的策略是最强的无求解器调度器：其结果接近约4%的约束编程参考，并超越所有调度规则和遗传算法元启发式方法，且在容量竞争下优势进一步扩大。
🔬 方法详解
问题定义：本论文旨在解决模块化工厂中的灵活作业车间调度问题，特别是长时间后操作延迟对调度效率的影响。现有方法在处理这些延迟时表现不佳，导致调度结果不理想。
核心思路：论文的核心思路是通过深度强化学习引入时间延迟感知机制，使得调度决策能够考虑到延迟因素，从而提高调度效率和准确性。
技术框架：整体架构包括三个主要模块：延迟感知动态模块、预期延迟特征通道模块和活跃掩蔽嵌入模块。通过这些模块的协同工作，形成了一个高效的调度决策系统。
关键创新：最重要的技术创新在于引入了延迟感知动态和预期延迟特征通道，这使得模型能够在决策时考虑到未来的延迟影响，从而显著提升了调度性能。与现有方法相比，这一设计使得调度决策更加灵活和高效。
关键设计：在参数设置上，采用了可接受的奖励界限来引导学习过程，损失函数设计上则考虑了延迟因素的影响，网络结构上结合了双重注意力机制，以增强模型对重要特征的关注。整体设计确保了模型在处理复杂调度问题时的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的学习策略在保留实例上达到了约4%的约束编程参考，超越了所有传统调度规则和遗传算法，尤其在容量竞争情况下，优势进一步扩大，证明了方法的有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括建筑行业的模块化工厂调度、生产线优化以及其他需要灵活调度的制造业。通过提高调度效率，能够显著降低生产成本和时间，提高资源利用率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Prefabricated prefinished volumetric construction moves most building work into module factories, whose production floor operates as a flexible job shop. A major complication is decisive: long post-operation time-lags caused by concrete curing, watertightness ponding tests, and paint drying, during which a module is blocked while its workstation stays free. On benchmark instances grounded in an official national prefabrication guidebook, these lags inflate even the optimal reference makespan by about 67% on average, and ignoring them at decision time, then repairing to feasibility, is worse than every dispatching rule. We adapt a state-of-the-art dual-attention deep reinforcement learning solver through three minimally invasive, individually ablatable extensions: lag-aware dynamics with an admissible reward bound, two anticipatory lag feature channels, and liveness-masked operation- and station-type embeddings. With every extension disabled the implementation reproduces the original solver exactly, so all gains are attributable to the adaptations. We release a public, guidebook-grounded benchmark generator. On held-out instances the learned policy is the strongest solver-free scheduler: it reaches within about 4% of a constraint-programming reference and beats every dispatching rule and a genetic-algorithm metaheuristic, with its advantage widening under capacity contention, and a single size-mixed policy carries this lead across the trained range of factory sizes. It needs no solver, model, or license in the loop and re-plans within seconds of a disruption; where an exact solver can be deployed, that solver remains the quality ceiling, a boundary we map explicitly.