LLM-Upgraded Graph Reinforcement Learning for Carbon-Aware Job Scheduling in Smart Manufacturing

📄 arXiv: 2512.06351v1 📥 PDF

作者: Zhiying Yang, Fang Liu, Wei Zhang, Xin Lou, Malcolm Yoke Hean Low, Boon Ping Gan

分类: cs.LG, cs.CL

发布日期: 2025-12-06

💡 一句话要点

提出Luca框架，利用LLM增强图强化学习，解决智能制造中碳感知作业调度问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 智能制造 碳感知调度 图强化学习 大型语言模型 柔性作业车间

📋 核心要点

  1. 现有智能制造调度方法难以兼顾动态变化和碳排放控制，缺乏对调度状态深层语义的理解。
  2. Luca框架融合图神经网络和大型语言模型，利用提示策略提取调度状态的结构特征和上下文语义。
  3. 实验表明，Luca在完工时间和碳排放方面均优于现有算法，尤其在合成数据集上完工时间降低显著。

📝 摘要（中文）

本文提出了Luca，一个大型语言模型(LLM)增强的图强化学习框架，用于碳感知柔性作业车间调度。Luca通过集成图神经网络和LLM，并结合精心设计的内部提示策略，生成融合嵌入，捕捉最新调度状态的结构特征和上下文语义，从而应对智能制造系统中动态和可持续调度的挑战。然后，深度强化学习策略网络处理这种富有表现力的嵌入，生成针对完工时间和碳排放目标进行优化的实时调度决策。为了支持可持续发展目标，Luca采用双目标奖励函数，鼓励能源效率和调度及时性。在合成数据集和公共数据集上的实验结果表明，Luca始终优于比较算法。例如，在合成数据集上，与性能最佳的比较算法相比，Luca在保持相同排放水平的同时，平均降低了4.1%，最高降低了12.2%的完工时间。在公共数据集上，完工时间和排放量都观察到额外的收益。这些结果表明，Luca对于智能制造中的碳感知调度是有效且实用的。

🔬 方法详解

问题定义：论文旨在解决智能制造系统中碳感知柔性作业车间调度问题。现有方法难以同时优化完工时间和碳排放，并且缺乏对动态调度状态的全面理解，无法有效应对实际生产中的复杂性和不确定性。

核心思路：论文的核心思路是利用大型语言模型（LLM）增强图强化学习，从而更有效地捕捉调度状态的结构特征和上下文语义。通过融合图神经网络和LLM，可以获得更具表达力的状态表示，进而指导强化学习策略网络做出更优的调度决策。

技术框架：Luca框架包含以下主要模块：1) 图神经网络：用于提取调度状态的结构特征。2) 大型语言模型：用于提取调度状态的上下文语义信息。3) 融合嵌入模块：将图神经网络和LLM的输出进行融合，生成包含结构特征和语义信息的融合嵌入。4) 深度强化学习策略网络：根据融合嵌入生成调度决策。5) 双目标奖励函数：同时考虑完工时间和碳排放，引导策略网络学习更优的调度策略。

关键创新：Luca的关键创新在于将大型语言模型引入到图强化学习框架中，用于增强对调度状态的理解。通过精心设计的提示策略，LLM能够提取调度状态的上下文语义信息，弥补了传统图神经网络在语义理解方面的不足。这种融合的方式使得模型能够更好地捕捉调度状态的复杂性和动态性。

关键设计：论文中一个关键的设计是双目标奖励函数，它同时考虑了完工时间和碳排放。具体来说，奖励函数可以表示为R = α * R_makespan + (1 - α) * R_emission，其中R_makespan是完工时间相关的奖励，R_emission是碳排放相关的奖励，α是一个权重参数，用于平衡两个目标的重要性。此外，论文还设计了特定的提示策略，用于引导LLM提取有用的上下文语义信息。具体的网络结构和参数设置在论文中有详细描述，但未在此处明确给出。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，Luca在合成数据集上，与最佳对比算法相比，在保持相同排放水平的情况下，平均降低了4.1%，最高降低了12.2%的完工时间。在公共数据集上，Luca在完工时间和碳排放方面均取得了进一步的提升，验证了其在实际应用中的有效性。

🎯 应用场景

该研究成果可应用于各种智能制造场景，例如柔性作业车间、半导体制造等。通过优化调度策略，可以显著降低生产过程中的碳排放，提高能源利用效率，同时保证生产效率和交货时间。该技术有助于企业实现可持续发展目标，提升竞争力。

📄 摘要（原文）

This paper presents \textsc{Luca}, a \underline{l}arge language model (LLM)-\underline{u}pgraded graph reinforcement learning framework for \underline{c}arbon-\underline{a}ware flexible job shop scheduling. \textsc{Luca} addresses the challenges of dynamic and sustainable scheduling in smart manufacturing systems by integrating a graph neural network and an LLM, guided by a carefully designed in-house prompting strategy, to produce a fused embedding that captures both structural characteristics and contextual semantics of the latest scheduling state. This expressive embedding is then processed by a deep reinforcement learning policy network, which generates real-time scheduling decisions optimized for both makespan and carbon emission objectives. To support sustainability goals, \textsc{Luca} incorporates a dual-objective reward function that encourages both energy efficiency and scheduling timeliness. Experimental results on both synthetic and public datasets demonstrate that \textsc{Luca} consistently outperforms comparison algorithms. For instance, on the synthetic dataset, it achieves an average of 4.1\% and up to 12.2\% lower makespan compared to the best-performing comparison algorithm while maintaining the same emission level. On public datasets, additional gains are observed for both makespan and emission. These results demonstrate that \textsc{Luca} is effective and practical for carbon-aware scheduling in smart manufacturing.