Hamiltonian-based Quantum Reinforcement Learning for Neural Combinatorial Optimization

📄 arXiv: 2405.07790v1 📥 PDF

作者: Georg Kruse, Rodrigo Coehlo, Andreas Rosskopf, Robert Wille, Jeanette Miriam Lorenz

分类: quant-ph, cs.LG

发布日期: 2024-05-13

💡 一句话要点

提出基于哈密顿量的量子强化学习方法，用于神经组合优化

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 量子强化学习 神经组合优化 哈密顿量 量子近似优化算法 变分量子算法

📋 核心要点

  1. 现有方法在解决组合优化问题时，量子算法和神经组合优化各有优势，但缺乏有效融合。
  2. 论文提出基于哈密顿量的量子强化学习，直接利用问题哈密顿量构建量子线路，提升训练效率。
  3. 实验表明，该方法在多种组合优化问题上具有广泛适用性，并优于传统硬件高效量子线路。

📝 摘要（中文）

量子计算(QC)和神经组合优化(NCO)的进步代表了解决复杂计算挑战的有希望的步骤。一方面，诸如QAOA之类的变分量子算法可用于解决各种组合优化问题。另一方面，同一类问题可以通过NCO解决，NCO是一种已显示出良好结果的方法，尤其是在引入图神经网络之后。鉴于这两个研究领域的最新进展，我们介绍了一种基于哈密顿量的量子强化学习(QRL)方法，该方法位于QC和NCO的交叉点。我们直接在组合优化问题的哈密顿公式上对我们的ansatz进行建模，这使我们可以将我们的方法应用于广泛的问题。与硬件高效的ansatz相比，我们的ansatz表现出良好的可训练性，同时也不像以前的工作那样局限于基于图的问题。在这项工作中，我们评估了基于哈密顿量的QRL在各种组合优化问题上的性能，以证明我们方法的广泛适用性，并将其与QAOA进行比较。

🔬 方法详解

问题定义：论文旨在解决组合优化问题，这类问题在现实世界中广泛存在，例如旅行商问题、最大割问题等。现有的量子近似优化算法（QAOA）和神经组合优化（NCO）方法各有优缺点。QAOA依赖于特定的硬件架构，且训练困难；NCO虽然在某些问题上表现出色，但通常依赖于图神经网络，难以泛化到非图结构的问题。因此，需要一种更通用、更易于训练的组合优化方法。

核心思路：论文的核心思路是将量子计算的优势与强化学习相结合，提出基于哈密顿量的量子强化学习（Hamiltonian-based QRL）方法。该方法直接利用组合优化问题的哈密顿量来设计量子线路（ansatz），从而将问题的结构信息嵌入到量子线路中。通过强化学习训练量子线路的参数，使其能够找到问题的最优解或近似最优解。

技术框架：整体框架包括以下几个主要步骤：1) 将组合优化问题转化为哈密顿量形式；2) 基于哈密顿量设计量子线路（ansatz）；3) 使用强化学习算法（例如，策略梯度算法）训练量子线路的参数；4) 使用训练好的量子线路求解组合优化问题。关键模块包括哈密顿量建模模块、量子线路设计模块和强化学习训练模块。

关键创新：论文最重要的技术创新点在于提出了基于哈密顿量的量子线路设计方法。与传统的硬件高效量子线路相比，该方法能够更好地利用问题的结构信息，从而提高训练效率和求解精度。此外，该方法不依赖于图结构，可以应用于更广泛的组合优化问题。

关键设计：论文的关键设计包括：1) 基于问题哈密顿量构建的参数化量子线路结构，参数化旋转门的参数是需要学习的；2) 使用策略梯度算法进行强化学习训练，目标是最大化奖励函数，奖励函数与组合优化问题的目标函数相关；3) 针对不同的组合优化问题，设计不同的哈密顿量和量子线路结构。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

论文通过实验验证了所提出的基于哈密顿量的量子强化学习方法在多种组合优化问题上的有效性。实验结果表明，该方法在训练效率和求解精度方面优于传统的硬件高效量子线路。此外，该方法在某些问题上能够达到与QAOA相近的性能，同时具有更广泛的适用性。

🎯 应用场景

该研究成果可应用于多个领域，如物流优化、电路设计、金融建模、药物发现等。通过量子强化学习，可以更高效地解决这些领域中的复杂组合优化问题，降低成本，提高效率。未来，随着量子计算硬件的不断发展，该方法有望在更大规模的问题上发挥作用。

📄 摘要（原文）

Advancements in Quantum Computing (QC) and Neural Combinatorial Optimization (NCO) represent promising steps in tackling complex computational challenges. On the one hand, Variational Quantum Algorithms such as QAOA can be used to solve a wide range of combinatorial optimization problems. On the other hand, the same class of problems can be solved by NCO, a method that has shown promising results, particularly since the introduction of Graph Neural Networks. Given recent advances in both research areas, we introduce Hamiltonian-based Quantum Reinforcement Learning (QRL), an approach at the intersection of QC and NCO. We model our ansatzes directly on the combinatorial optimization problem's Hamiltonian formulation, which allows us to apply our approach to a broad class of problems. Our ansatzes show favourable trainability properties when compared to the hardware efficient ansatzes, while also not being limited to graph-based problems, unlike previous works. In this work, we evaluate the performance of Hamiltonian-based QRL on a diverse set of combinatorial optimization problems to demonstrate the broad applicability of our approach and compare it to QAOA.