Cloud Workflow Scheduling Based on Graph Attention-Driven Hierarchical Reinforcement Learning

📄 arXiv: 2609.14952v1 📥 PDF

作者: Zongjin Li, Shaohan Feng, Chunxi Yang, Wenbo Wang

分类: cs.LG, cs.NI

发布日期: 2026-09-14

备注: Paper submitted to IEEE Internet of Things Journal

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于图注意力的层次强化学习调度云工作流

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 云工作流调度 图注意力网络 层次强化学习 能耗优化 任务调度 容器利用率 半马尔可夫决策过程

📋 核心要点

  1. 现有的云工作流调度方法未能有效处理任务执行速度的随机性和任务与容器之间的复杂依赖关系。
  2. 本文提出了一种基于图注意力网络的层次强化学习框架，通过预测子截止日期和提取依赖信息来优化调度决策。
  3. 实验结果显示，GA-HRL在容器利用率和能耗方面优于传统方法，尤其在速度变化较大的情况下，能有效降低能耗。

📝 摘要（中文）

动态云工作流调度需要在满足截止日期、容器利用率和能耗之间取得平衡，同时应对任务执行速度的随机性、依赖于位置的通信以及任务与容器的耦合决策。工作流自然可建模为有向无环图（DAG），但传统的向量或矩阵状态无法充分捕捉其依赖拓扑。为更好地表示任务紧迫性和结构关系，本文为任务分配预测的子截止日期，并使用多头图注意力网络（GAT）提取不断演变的DAG中的依赖信息。基于这些表示，本文开发了图注意力驱动的层次强化学习（GA-HRL）框架，并将调度过程建模为事件驱动的层次半马尔可夫决策过程（SMDP）。实验结果表明，GA-HRL在工作流成功率上保持竞争力，且在成功率相当的情况下，通常实现更高的容器利用率和更低的能耗。

🔬 方法详解

问题定义：本文旨在解决动态云工作流调度中的多重挑战，包括截止日期满足、容器利用率和能耗之间的平衡。现有方法在处理任务执行速度的随机性和任务与容器的耦合决策时存在不足。

核心思路：论文提出通过为任务分配预测的子截止日期，并利用多头图注意力网络（GAT）提取DAG中的依赖信息，以更好地表示任务的紧迫性和结构关系，从而优化调度过程。

技术框架：GA-HRL框架将调度过程建模为事件驱动的层次半马尔可夫决策过程（SMDP），包含任务调度（TS）代理和容器调度（CS）代理两个主要模块。TS代理负责处理准备好的任务，而CS代理则负责容器的主机放置。

关键创新：最重要的创新在于使用图注意力网络来提取任务依赖关系，这一方法与传统的向量或矩阵状态表示方法本质上不同，能够更准确地捕捉工作流的结构特征。

关键设计：在训练过程中，两个代理使用独立的近端策略优化（PPO）算法交替训练，确保调度决策的有效性和灵活性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GA-HRL在2018年阿里巴巴集群追踪数据上的工作流成功率保持竞争力，并在成功率相当的情况下，通常实现更高的容器利用率和更低的能耗。在最大速度变化的情况下，GA-HRL以较小的成功率损失换取了显著的能耗降低。

🎯 应用场景

该研究的潜在应用领域包括云计算资源管理、任务调度系统以及智能制造等。通过优化云工作流调度，可以显著提高资源利用率，降低能耗，进而推动可持续发展。未来，该方法还可扩展到更复杂的调度场景，如多云环境和边缘计算。

📄 摘要（原文）

Dynamic cloud workflow scheduling must balance deadline satisfaction, container utilization, and energy consumption while dealing with stochastic task-execution speeds, placement-dependent communication, and coupled task and container decisions. Workflows are naturally modeled as directed acyclic graphs (DAGs), but conventional vector- or matrix-based states do not fully capture their dependency topology. To better represent task urgency and structural relationships, we assign predicted sub-deadlines to tasks and use a multi-head graph attention network (GAT) to extract dependency information from the evolving DAGs. Based on these representations, we develop a Graph Attention-Driven Hierarchical Reinforcement Learning (GA-HRL) framework and model the scheduling process as an event-driven hierarchical semi-Markov decision process (SMDP). Workflow arrivals and task completions trigger scheduling events. At each scheduling event, the Task Scheduling (TS) agent first processes the currently ready tasks by assigning them to admissible existing containers or requesting new ones. The requested containers are then processed by the Container Scheduling (CS) agent for host placement before the environment advances. The two agents are trained alternately using separate Proximal Policy Optimization (PPO). Experiments on the 2018 Alibaba cluster trace show that GA-HRL maintains competitive workflow success rate and, in settings where success is comparable, generally achieves higher container utilization and lower energy consumption. Under the largest speed variation, it trades a small success-rate margin for substantially lower energy. Simulation code is available at: https://github.com/zongjin130/GA-HRL.