Learning to Score: Tuning Cluster Schedulers through Reinforcement Learning
作者: Martin Asenov, Qiwen Deng, Gingfung Yeung, Adam Barker
分类: cs.LG
发布日期: 2026-03-11
💡 一句话要点
提出基于强化学习的集群调度器调优方法，提升作业性能和集群利用率。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 集群调度 资源管理 作业调度 性能优化
📋 核心要点
- 现有集群调度器权重调整依赖专家知识且计算成本高昂，无法有效适应不同工作负载。
- 利用强化学习自动学习调度器评分权重，通过百分比改进奖励和帧堆叠优化多步参数调整。
- 实验表明，该方法在性能上优于固定权重和现有基线，提升了作业性能和集群利用率。
📝 摘要（中文）
本文提出了一种基于强化学习的方法，用于学习调度器评分算法中的权重，旨在提高给定集群中作业的端到端性能。集群调度器通常依赖一组评分函数来对可行的节点进行排序，以便将传入的作业分配给大型集群中的节点，从而显著提高集群利用率和作业性能。然而，对评分函数的权重进行调整需要专家知识，并且计算成本很高。本文方法基于百分比改进奖励、帧堆叠和限制领域信息。百分比改进奖励用于解决多步参数调整的目标。帧堆叠的引入允许在优化实验中传递信息。限制领域信息可以防止过拟合，并提高在未见过的集群和工作负载中的性能。该策略在不同的工作负载和集群设置组合上进行训练。实验结果表明，与固定权重相比，该方法平均提高了33%的性能，与基于实验室的无服务器场景中表现最佳的基线相比，提高了12%。
🔬 方法详解
问题定义：论文旨在解决大规模集群中作业调度器评分函数权重的手动调整问题。现有方法通常采用固定的权重，无法根据不同工作负载的特性进行优化，导致集群利用率和作业性能的下降。手动调整权重需要专家知识，且计算成本高昂，难以适应动态变化的工作负载。
核心思路：论文的核心思路是将调度器权重调整问题建模为一个强化学习问题。通过训练一个智能体来学习最优的权重配置，从而最大化作业的性能。这种方法能够自动适应不同的工作负载和集群环境，无需人工干预。
技术框架：该方法的技术框架主要包括以下几个部分：1) 环境：模拟集群环境，包括节点资源、作业队列等；2) 智能体：基于强化学习算法，负责学习最优的权重配置；3) 奖励函数：用于评估智能体的行为，采用百分比改进奖励，鼓励智能体提高作业性能；4) 状态表示：使用帧堆叠技术，将历史状态信息融入当前状态，帮助智能体做出更明智的决策。
关键创新：该方法最重要的技术创新点在于将强化学习应用于集群调度器权重调整问题，并提出了百分比改进奖励和帧堆叠技术。百分比改进奖励能够有效解决多步参数调整的目标，帧堆叠技术能够帮助智能体更好地理解环境状态，从而做出更优的决策。此外，限制领域信息可以防止过拟合，并提高在未见过的集群和工作负载中的性能。
关键设计：在关键设计方面，论文采用了百分比改进奖励作为奖励函数，该奖励函数能够直接反映作业性能的提升。同时，论文使用了帧堆叠技术，将多个连续的状态帧堆叠在一起作为智能体的输入，从而帮助智能体更好地理解环境状态。此外，论文还限制了领域信息，以防止过拟合，并提高泛化能力。具体的网络结构和参数设置未在摘要中详细说明。
🖼️ 关键图片
📊 实验亮点
实验结果表明，与固定权重相比，该方法平均提高了33%的作业性能。与基于实验室的无服务器场景中表现最佳的基线相比，该方法也提高了12%的性能。这些结果表明，该方法能够有效地优化集群调度器权重，提高作业性能和集群利用率。
🎯 应用场景
该研究成果可应用于大规模数据中心、云计算平台等场景，通过自动优化集群调度器权重，提高集群资源利用率，降低作业完成时间，从而提升整体系统性能和用户体验。该方法具有广泛的应用前景，能够为企业节省大量的计算资源和运维成本，并为未来的集群调度技术发展提供新的思路。
📄 摘要（原文）
Efficiently allocating incoming jobs to nodes in large-scale clusters can lead to substantial improvements in both cluster utilization and job performance. In order to allocate incoming jobs, cluster schedulers usually rely on a set of scoring functions to rank feasible nodes. Results from individual scoring functions are usually weighted equally, which could lead to sub-optimal deployments as the one-size-fits-all solution does not take into account the characteristics of each workload. Tuning the weights of scoring functions, however, requires expert knowledge and is computationally expensive. This paper proposes a reinforcement learning approach for learning the weights in scheduler scoring algorithms with the overall objective of improving the end-to-end performance of jobs for a given cluster. Our approach is based on percentage improvement reward, frame-stacking, and limiting domain information. We propose a percentage improvement reward to address the objective of multi-step parameter tuning. The inclusion of frame-stacking allows for carrying information across an optimization experiment. Limiting domain information prevents overfitting and improves performance in unseen clusters and workloads. The policy is trained on different combinations of workloads and cluster setups. We demonstrate the proposed approach improves performance on average by 33\% compared to fixed weights and 12\% compared to the best-performing baseline in a lab-based serverless scenario.