Symmetry-Preserving Architecture for Multi-NUMA Environments (SPANE): A Deep Reinforcement Learning Approach for Dynamic VM Scheduling

📄 arXiv: 2504.14946v1 📥 PDF

作者: Tin Ping Chan, Yunlong Cheng, Yizhan Zhu, Xiaofeng Gao, Guihai Chen

分类: cs.LG

发布日期: 2025-04-21

备注: 10 pages, 7 figures. Accepted to IEEE INFOCOM 2025

💡 一句话要点

提出SPANE以解决多NUMA环境下动态虚拟机调度问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 虚拟机调度 深度强化学习 多NUMA 云计算 资源管理 动态分配 算法优化

📋 核心要点

  1. 现有的虚拟机调度方法在多NUMA架构下面临复杂性和效率的挑战，难以满足现代云环境的需求。
  2. 本文提出的SPANE方法通过深度强化学习，利用问题的对称性，显著提高了调度效率和解的质量。
  3. 实验结果显示，SPANE在Huawei-East-1数据集上将平均虚拟机等待时间减少了45%，表现优于现有的调度基线。

📝 摘要（中文）

随着云计算的不断发展，云服务提供商采用多NUMA（非统一内存访问）架构带来了虚拟机（VM）调度的新挑战。为此，本文引入了多NUMA物理机上的动态虚拟机分配问题（DVAMP），并将其离线和在线版本形式化为混合整数线性规划问题，提供了严谨的数学基础。通过推导贪心在线算法的紧性能界，揭示了最坏情况下的最优性差距。为应对DVAMP带来的挑战，本文提出了SPANE（多NUMA环境下的对称保持架构），一种新颖的深度强化学习方法，利用问题固有的对称性，提升学习效率和解的质量。实验结果表明，SPANE在Huawei-East-1数据集上显著优于现有基线，平均虚拟机等待时间减少了45%。

🔬 方法详解

问题定义：本文旨在解决多NUMA环境下的动态虚拟机分配问题（DVAMP），现有方法在处理复杂性和效率方面存在不足，无法有效应对多NUMA架构的特性。

核心思路：SPANE方法通过深度强化学习，利用问题的对称性来提高学习效率，确保在物理机状态的任意排列下结果保持不变，从而优化调度过程。

技术框架：SPANE的整体架构包括状态表示、策略网络和价值网络等主要模块，采用深度强化学习框架进行训练和优化，确保在动态环境中有效调度虚拟机。

关键创新：SPANE的核心创新在于其对称保持特性，使得算法在面对不同物理机状态时能够保持一致性，显著提高了学习效率和解的质量，与传统方法相比具有本质区别。

关键设计：在设计中，SPANE采用了特定的损失函数和网络结构，优化了参数设置，以适应多NUMA环境的复杂性，确保算法在实际应用中的有效性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SPANE在Huawei-East-1数据集上显著优于现有基线，平均虚拟机等待时间减少了45%。这一结果不仅展示了SPANE的高效性，还为多NUMA环境下的资源管理提供了新的解决方案。

🎯 应用场景

该研究的潜在应用领域包括云计算资源管理、数据中心虚拟化和高性能计算等。通过优化虚拟机调度，SPANE能够提高资源利用率，降低运营成本，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

As cloud computing continues to evolve, the adoption of multi-NUMA (Non-Uniform Memory Access) architecture by cloud service providers has introduced new challenges in virtual machine (VM) scheduling. To address these challenges and more accurately reflect the complexities faced by modern cloud environments, we introduce the Dynamic VM Allocation problem in Multi-NUMA PM (DVAMP). We formally define both offline and online versions of DVAMP as mixed-integer linear programming problems, providing a rigorous mathematical foundation for analysis. A tight performance bound for greedy online algorithms is derived, offering insights into the worst-case optimality gap as a function of the number of physical machines and VM lifetime variability. To address the challenges posed by DVAMP, we propose SPANE (Symmetry-Preserving Architecture for Multi-NUMA Environments), a novel deep reinforcement learning approach that exploits the problem's inherent symmetries. SPANE produces invariant results under arbitrary permutations of physical machine states, enhancing learning efficiency and solution quality. Extensive experiments conducted on the Huawei-East-1 dataset demonstrate that SPANE outperforms existing baselines, reducing average VM wait time by 45%. Our work contributes to the field of cloud resource management by providing both theoretical insights and practical solutions for VM scheduling in multi-NUMA environments, addressing a critical gap in the literature and offering improved performance for real-world cloud systems.