Quantum Reinforcement Learning for Cost and Delay Tradeoffs in Quantum Cloud Orchestration

📄 arXiv: 2609.27446v1 📥 PDF

作者: An N. H. Phan, Dang Van Huynh, Muhammad Usman, Hoa T. Nguyen

分类: cs.LG, cs.AI, cs.DC, cs.ET, quant-ph

发布日期: 2026-09-23

💡 一句话要点

提出QRLQ框架以解决量子云调度中的成本与延迟权衡问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 量子云计算 强化学习 调度优化 参数化量子电路 深度Q网络 成本延迟权衡 量子资源管理

📋 核心要点

  1. 现有的量子云调度方法在处理异构资源时，成本与延迟的权衡非常复杂，且启发式方法的灵活性不足。
  2. 本文提出的QRLQ框架利用参数化量子电路和对抗双深度Q网络，动态优化成本与延迟，提升调度效率。
  3. 实验结果显示，QRLQ在成本和延迟上均优于传统启发式方法，同时减少了可训练参数，提升了资源管理的效率。

📝 摘要（中文）

量子云计算通过量子即服务(QaaS)模型提供量子计算资源的访问。然而，统一的基于时间的定价策略在处理异构量子资源时，尤其是在执行成本与系统性能之间的权衡时，显得复杂。现有的启发式方法依赖于预定义的调度规则，而经典的深度强化学习(DRL)模型在此场景中可能需要更多的可训练参数。为此，本文提出了QRLQ，一个成本-延迟感知的量子云调度框架，结合了参数化量子电路(PQCs)与对抗双深度Q网络(D3QN)，以动态考虑成本与延迟。仿真结果表明，QRLQ在平均成本和延迟上均优于启发式基线，平均成本降低了5-11%，平均延迟降低了17%至82%，同时执行保真度保持在2%以内。与经典DRL基线相比，QRLQ在使用72%更少的可训练参数的情况下实现了相当的调度性能。

🔬 方法详解

问题定义：本文旨在解决量子云计算中任务调度的成本与延迟权衡问题。现有方法如启发式调度规则在处理异构量子资源时，缺乏灵活性和适应性，导致调度效率低下。

核心思路：QRLQ框架结合了参数化量子电路(PQCs)作为紧凑的函数近似器与对抗双深度Q网络(D3QN)，以动态调整调度策略，优化成本与延迟的平衡。通过这种设计，QRLQ能够在复杂的量子资源环境中实现更高效的调度。

技术框架：QRLQ的整体架构包括数据输入模块、PQCs模块、D3QN模块和调度决策模块。数据输入模块负责收集任务信息，PQCs模块用于函数近似，D3QN模块进行策略学习，最后调度决策模块输出优化的调度策略。

关键创新：QRLQ的主要创新在于将PQCs与D3QN结合，显著减少了可训练参数的数量，同时保持了调度性能。这一设计使得QRLQ在资源管理中具备更高的灵活性和效率。

关键设计：在QRLQ中，PQCs的参数设置经过精心设计，以确保其在不同任务场景下的适应性。损失函数采用了综合考虑成本与延迟的形式，网络结构则优化了D3QN的训练过程，以提高学习效率和调度效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，QRLQ在平均成本上相较于基于可用性和轮换的启发式方法降低了5-11%，在平均延迟上相较于最强和最弱的启发式基线分别降低了17%和82%。此外，QRLQ在保持执行保真度在2%以内的同时，使用的可训练参数减少了72%。

🎯 应用场景

该研究的潜在应用领域包括量子云计算服务的优化调度、量子资源管理以及量子计算任务的动态分配。通过提升调度效率，QRLQ框架能够为量子云服务提供商和用户带来更低的成本和更快的响应时间，推动量子计算技术的实际应用和商业化进程。

📄 摘要（原文）

Quantum cloud computing, delivered through the quantum-as-a-service (QaaS) model, provides access to quantum computing resources. However, applying uniform time-based pricing across fundamentally heterogeneous quantum resources significantly complicates task orchestration, particularly when addressing the tradeoff between execution costs and system performance. While heuristic methods rely on predefined scheduling rules, classical deep reinforcement learning (DRL) models may require more trainable parameters in this setting. Motivated by the potential of parameterised quantum circuits (PQCs) as compact function approximators, we propose QRLQ, a cost-delay-aware quantum cloud scheduling framework integrating PQCs with a dueling double deep Q-network (D3QN) to dynamically account for both cost and delay. Our simulation results show that QRLQ achieves lower mean cost and delay than the heuristic baselines, achieving a 5-11% lower mean cost relative to availability-based and rotation-based heuristics and reducing mean delay by 17% and 82% relative to the strongest and weakest heuristic baselines, respectively, while retaining execution fidelity within 2% of a fidelity-greedy policy. Compared with the classical DRL baseline, QRLQ achieves comparable scheduling performance while using 72% fewer trainable parameters. This work explores the feasibility of using QRL for task orchestration in quantum cloud environments and demonstrates its potential for cost-delay-aware quantum resource management.