Learning and interpreting policies for simultaneous entanglement requests in quantum networks

📄 arXiv: 2609.30157v1 📥 PDF

作者: Leon Rode, Sumeet Khatri, Supartha Podder

分类: quant-ph, cs.LG

发布日期: 2026-09-24

💡 一句话要点

提出基于强化学习的策略以解决量子网络中的纠缠请求调度问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量子网络 纠缠资源 强化学习 马尔可夫决策过程 双深度Q网络 消息传递神经网络 调度策略 可解释性

📋 核心要点

  1. 现有方法在量子网络中调度纠缠资源时面临资源浪费和延迟高的问题，难以满足多任务同时进行的需求。
  2. 论文提出通过强化学习构建马尔可夫决策过程，利用双深度Q网络和消息传递神经网络来优化链路级纠缠资源的调度策略。
  3. 实验表明，所提策略在链路激活概率降低71%时仍能保持100%成功率，且在特定硬件约束下也能保持至少80%的成功率。

📝 摘要（中文）

未来的量子网络将利用纠缠进行长距离量子信息传输、分布式量子计算和量子传感等任务。这些任务通常需要在网络的不同区域同时进行，同时最小化资源和延迟。本文通过强化学习提出了一种调度链路级纠缠资源的策略，构建了一个马尔可夫决策过程，并使用双深度Q网络与消息传递神经网络相结合的方法。实验结果显示，所提出的策略在链路激活概率降低71%的情况下仍能保持100%的成功率，且在特定硬件类型约束下也表现出优越的性能。最后，研究还探讨了如何解释学习到的策略，利用大型语言模型提取可解释的策略。

🔬 方法详解

问题定义：本文旨在解决量子网络中纠缠请求的调度问题，现有方法在资源利用和延迟方面存在不足，难以高效支持多任务并行处理。

核心思路：通过构建马尔可夫决策过程，利用强化学习中的双深度Q网络和消息传递神经网络，优化链路级纠缠资源的调度策略，以提高成功率并降低资源消耗。

技术框架：整体架构包括马尔可夫决策过程的建模、双深度Q网络的训练、经验回放缓冲区的使用以及课程训练的实施，形成一个完整的策略学习流程。

关键创新：最重要的创新在于结合了双深度Q网络与消息传递神经网络，能够在低链路激活概率下仍保持高成功率，显著优于传统启发式方法。

关键设计：关键参数包括链路激活概率的设定，损失函数的设计，以及网络结构中消息传递机制的实现，确保了模型的高效性与准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，所提出的策略在链路激活概率降低71%的情况下仍能保持100%的成功率，相较于基线启发式方法表现出显著的性能提升。此外，在特定硬件约束下，策略仍能维持至少80%的成功率，表明其在实际应用中的有效性。

🎯 应用场景

该研究在量子网络中具有广泛的应用潜力，尤其是在量子信息传输、分布式量子计算和量子传感等领域。通过优化纠缠资源的调度，可以显著提高量子网络的效率和可靠性，推动量子技术的实际应用与发展。

📄 摘要（原文）

Future quantum networks will make use of entanglement to perform numerous tasks, such as sending quantum information over long distances, distributed quantum computing, and quantum sensing. In general, these tasks will need to be performed simultaneously in various regions of a network, while minimizing resources and latency. We will thus require policies for scheduling link-level entanglement resources, and using the link-level entanglement to create various forms of multipartite entanglement required for every task. In this work, we address this problem using reinforcement learning. We formulate a Markov Decision Process for the problem and use double deep Q-networks (DQN) with Message Passing Neural Networks (MPNNs), experience replay buffers, and curriculum training to obtain policies. The key physical parameter is the probability of link-level entanglement generation, i.e., the link activation probability. We show that our policies maintain 100% success for up to 71% lower link activation probability than the baseline heuristics for a set of physically relevant network topologies. We then examine an additional constraint where experiment (task) placements are restricted to specific hardware types and demonstrate a similar advantage in performance over heuristics, with our policy maintaining at least an 80% success rate for up to a 59% lower link activation probability. Finally, we explore methods to interpret the learned policy by defining metrics enabling conclusions to be drawn about the model's behavior and by tasking a large language model (LLM) to derive a novel heuristic given example actions taken by the DQN-trained policy. We find that the LLM heuristic performs similarly to the DQN-trained policy in performance, indicating a promising method for interpretable policy extraction for large quantum networks, where direct training becomes computationally expensive.