HiGFRL: Hierarchical Graph Fusion-Driven Reinforcement Learning for Dependency-Aware Task Scheduling in Heterogeneous Cloud

📄 arXiv: 2609.14968v1 📥 PDF

作者: Tiangang Li, Shi Ying, Xiangbo Tian

分类: cs.LG

发布日期: 2026-09-14

备注: 16 pages, 13 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出HiGFRL以解决异构云中依赖感知任务调度问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 云计算 任务调度 强化学习 图神经网络 资源管理 依赖感知 性能优化

📋 核心要点

  1. 现有的调度方法在高阶拓扑依赖建模和任务与资源状态耦合方面存在不足，导致调度决策短视。
  2. HiGFRL通过构建三层状态表示，结合静态超图、动态全局图和局部二分图，有效建模任务依赖与集群动态。
  3. 实验结果显示，HiGFRL在高负载场景下使Makespan减少32.55%，平均任务流转时间和等待时间分别优化13.58%和13.79%。

📝 摘要（中文）

在异构云集群中，依赖感知任务的在线调度是一个基本而具有挑战性的问题，主要由于DAG拓扑与多维资源约束之间的复杂相互作用。尽管深度强化学习（DRL）展现出潜力，但现有基于图神经网络（GNN）的方法往往难以有效建模高阶拓扑依赖，并且任务与资源状态之间的耦合较松散，导致短视的调度决策。为了解决这些局限性，本文提出了HiGFRL，一个基于层次图融合的强化学习框架。HiGFRL构建了一个新颖的三层状态表示，包括静态超图、动态全局图和局部二分图，以明确建模任务依赖与实时集群动态之间的相互作用。实验结果表明，HiGFRL在真实的阿里巴巴集群追踪数据上显著优于启发式和DRL基线。

🔬 方法详解

问题定义：本文旨在解决异构云集群中依赖感知任务的在线调度问题。现有方法在高阶拓扑依赖建模和任务与资源状态的耦合方面存在不足，导致调度决策短视。

核心思路：HiGFRL框架通过构建三层状态表示，结合静态超图、动态全局图和局部二分图，明确建模任务依赖与实时集群动态的相互作用，从而优化调度决策。

技术框架：HiGFRL的整体架构包括一个融合驱动的双网络结构，其中上下文融合分配器整合局部二分匹配特征与融合的全局上下文，以执行精确的任务到节点分配；全局状态评估器利用全局动态图表示准确估计预期的长期累积奖励。

关键创新：HiGFRL的主要创新在于其层次图融合驱动的强化学习框架，能够有效建模任务依赖与资源动态的复杂关系，显著提升调度效率。

关键设计：在设计中，采用了拓扑先验引导的混合奖励机制，将静态拓扑先验融入学习过程，以加速收敛。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，HiGFRL在处理高负载的复杂调度场景时，Makespan减少了32.55%，同时平均任务流转时间和等待时间分别优化了13.58%和13.79%。这些结果显示出HiGFRL在提升集群吞吐量和服务质量方面的显著优势。

🎯 应用场景

该研究的潜在应用领域包括云计算资源管理、任务调度优化和大规模数据处理等。通过提高调度效率和资源利用率，HiGFRL能够为云服务提供商和用户带来显著的经济效益，并为未来的智能调度系统奠定基础。

📄 摘要（原文）

Online scheduling of dependency-aware tasks in heterogeneous cloud clusters is a fundamental yet challenging problem due to the complex interplay between DAG topologies and multi-dimensional resource constraints. While DRL has shown promise, existing GNN-based approaches often struggle to efficiently model high-order topological dependencies and suffer from loose coupling between task and resource states, leading to myopic scheduling decisions. To address these limitations, we propose HiGFRL, a Hierarchical Graph Fusion-Driven Reinforcement Learning framework. HiGFRL constructs a novel three-level state representation comprising a Static Hypergraph, a Dynamic Global Graph, and a Local Bipartite Graph to explicitly model the interplay between task dependencies and real-time cluster dynamics. Specifically, we design a fusion-driven dual-network architecture to optimize RL decision-making, where a Context Fusion Allocator integrates local bipartite matching features with fused global context to execute precise task-to-node allocation, and a Global State Evaluator leverages the global dynamic graph representation to accurately estimate expected long-term cumulative reward. Furthermore, we incorporate a topology-prior-guided hybrid reward mechanism that distills static topological priors into the learning process to accelerate convergence. Extensive experiments using real-world Alibaba cluster traces demonstrate that HiGFRL significantly outperforms heuristics and DRL baselines. Specifically, in challenging large-scale high-load scenarios, HiGFRL reduces the Makespan by up to 32.55%, and optimizes the average task flow time and average task wait time by 13.58% and 13.79%, respectively. Experimental results confirm that HiGFRL not only significantly improves cluster throughput but also ensures superior QoS by substantially reducing queuing delays. Code Release:https://github.com/igeng/HiGFRL.