OptScaler: A Collaborative Framework for Robust Autoscaling in the Cloud

📄 arXiv: 2311.12864v2 📥 PDF

作者: Ding Zou, Wei Lu, Zhibo Zhu, Xingyu Lu, Jun Zhou, Xiaojin Wang, Kangyu Liu, Haiqing Wang, Kefan Wang, Renen Sun

分类: math.OC, cs.LG

发布日期: 2023-10-26 (更新: 2025-02-05)

备注: Proceedings of the VLDB Endowment, Volume 17, Issue 12 Pages 4090 - 4103

DOI: 10.14778/3685800.3685829

💡 一句话要点

提出OptScaler以解决云计算中自动扩展的鲁棒性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 自动扩展 云计算 模型预测控制 服务水平目标 资源管理 动态工作负载 鲁棒性 优化框架

📋 核心要点

  1. 现有的主动和反应式自动扩展框架在应对云工作负载波动时存在预测偏差和滞后性，导致服务水平目标(SLO)的违约。
  2. OptScaler通过优化模块整合主动和反应模块，利用模型预测控制机制和自调节估计器，实现更为精确的资源调整。
  3. 实验结果显示，OptScaler在SLO违约率上比现有框架降低了超过36%，并已成功应用于支付宝等实际场景。

📝 摘要（中文）

自动扩展是云计算中的关键机制，能够根据动态工作负载自主调整计算资源。现有的主动和反应式自动扩展框架在应对频繁波动的云工作负载时存在预测偏差和滞后性的问题。为此，本文提出了OptScaler，一个通过优化模块整合主动和反应模块的协作自动扩展框架。该框架通过模型预测控制机制和机会约束增强了鲁棒性。实验结果表明，与现有的自动扩展框架相比，OptScaler在服务水平目标(SLO)违约率上减少了超过36%。

🔬 方法详解

问题定义：本文旨在解决云计算中自动扩展的鲁棒性问题，现有方法在动态工作负载下常常面临预测偏差和滞后性，导致服务水平目标(SLO)的违约。

核心思路：OptScaler通过优化模块将主动和反应模块协同工作，主动模块提供未来工作负载的可靠预测，而反应模块则提供实时更新的自调节估计器，从而实现更精确的资源管理。

技术框架：OptScaler的整体架构包括三个主要模块：主动模块、反应模块和优化模块。主动模块负责预测未来的工作负载，反应模块根据实时反馈调整资源，而优化模块则整合两者的信息进行决策。

关键创新：OptScaler的主要创新在于其协作机制，通过模型预测控制(MPC)和机会约束的引入，增强了系统的鲁棒性，解决了传统框架中模块独立运行导致的决策效率低下问题。

关键设计：在设计中，优化模块采用了模型预测控制机制，结合了自调节估计器的实时反馈，确保了在动态环境下的高效资源分配。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OptScaler在服务水平目标(SLO)的违约率上比现有的主动、反应或混合自动扩展框架降低了超过36%。这一显著的提升展示了其在动态工作负载管理中的优势，验证了其在实际应用中的有效性。

🎯 应用场景

OptScaler的研究成果在云计算领域具有广泛的应用潜力，尤其适用于需要动态资源调整的长时间运行的应用程序，如在线支付、电子商务和大数据处理等场景。其成功部署在支付宝的案例表明，OptScaler能够有效提升资源利用率和服务质量，具有显著的实际价值。

📄 摘要（原文）

Autoscaling is a critical mechanism in cloud computing, enabling the autonomous adjustment of computing resources in response to dynamic workloads. This is particularly valuable for co-located, long-running applications with diverse workload patterns. The primary objective of autoscaling is to regulate resource utilization at a desired level, effectively balancing the need for resource optimization with the fulfillment of Service Level Objectives (SLOs). Many existing proactive autoscaling frameworks may encounter prediction deviations arising from the frequent fluctuations of cloud workloads. Reactive frameworks, on the other hand, rely on realtime system feedback, but their hysteretic nature could lead to violations of stringent SLOs. Hybrid frameworks, while prevalent, often feature independently functioning proactive and reactive modules, potentially leading to incompatibility and undermining the overall decision-making efficacy. In addressing these challenges, we propose OptScaler, a collaborative autoscaling framework that integrates proactive and reactive modules through an optimization module. The proactive module delivers reliable future workload predictions to the optimization module, while the reactive module offers a self-tuning estimator for real-time updates. By embedding a Model Predictive Control (MPC) mechanism and chance constraints into the optimization module, we further enhance its robustness. Numerical results have demonstrated the superiority of our workload prediction model and the collaborative framework, leading to over a 36% reduction in SLO violations compared to prevalent reactive, proactive, or hybrid autoscalers. Notably, OptScaler has been successfully deployed at Alipay, providing autoscaling support for the world-leading payment platform.