Quantum Machine Learning Architecture Search via Deep Reinforcement Learning

📄 arXiv: 2407.20147v1 📥 PDF

作者: Xin Dai, Tzu-Chieh Wei, Shinjae Yoo, Samuel Yen-Chi Chen

分类: quant-ph, cs.AI, cs.ET, cs.LG, cs.NE

发布日期: 2024-07-29

备注: Accepted by IEEE International Conference on Quantum Computing and Engineering - QCE 2024

💡 一句话要点

提出基于深度强化学习的量子机器学习架构搜索方法，优化NISQ时代模型性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 量子机器学习 深度强化学习 架构搜索 NISQ 变分量子电路

📋 核心要点

  1. 现有QML模型设计需要在模型复杂度和NISQ设备限制之间权衡，复杂模型难以在现有量子平台上执行。
  2. 利用深度强化学习自动搜索高效的QML模型架构，无需预定义的ansatz，并动态调整学习目标。
  3. 数值模拟表明，该方法能够找到在保证分类精度的同时，最小化门深度的VQC架构。

📝 摘要（中文）

量子计算(QC)和机器学习(ML)的快速发展催生了量子机器学习(QML)领域，旨在利用量子计算的优势来推动ML的发展。然而，构建有效的QML模型需要深厚的专业知识，以在模型复杂性和噪声中等规模量子(NISQ)设备上的可行性之间取得平衡。复杂的模型提供强大的表示能力，但其广泛的电路深度可能会阻碍在现有噪声量子平台上无缝执行。本文通过采用深度强化学习来探索为指定监督学习任务量身定制的QML模型架构，从而解决QML模型设计的难题。具体来说，我们的方法包括训练一个RL代理来设计策略，以促进发现没有预定ansatz的QML模型。此外，我们集成了一种自适应机制来动态调整学习目标，从而促进代理学习过程的持续改进。通过广泛的数值模拟，我们展示了该方法在分类任务中的有效性。我们提出的方法成功地识别了能够实现高分类精度同时最小化门深度的VQC架构。这种开创性的方法不仅推动了AI驱动的量子电路设计的研究，而且为提高NISQ时代的性能提供了巨大的希望。

🔬 方法详解

问题定义：论文旨在解决在NISQ时代，如何设计出既能保证机器学习任务的精度，又能适应量子计算资源限制的量子机器学习模型架构的问题。现有的QML模型设计往往依赖于人工经验，缺乏自动化和自适应性，难以在精度和资源消耗之间取得平衡。

核心思路：论文的核心思路是利用深度强化学习（DRL）来自动搜索QML模型架构。通过将QML模型的设计过程建模为一个马尔可夫决策过程（MDP），训练一个RL智能体来学习如何构建高性能的QML模型。这种方法避免了对预定义ansatz的依赖，能够探索更广泛的模型空间。

技术框架：整体框架包含一个RL智能体和一个量子机器学习环境。RL智能体负责生成QML模型架构，量子机器学习环境负责评估这些架构的性能。具体流程如下：1. RL智能体根据当前状态（例如，已构建的电路结构）选择一个动作（例如，添加一个量子门）。2. 环境根据智能体的动作构建相应的QML模型。3. 使用量子模拟器或真实的量子设备评估该模型的性能（例如，分类精度）。4. 环境将性能反馈给RL智能体作为奖励信号。5. RL智能体根据奖励信号更新其策略，以便在未来生成更好的模型架构。

关键创新：该论文的关键创新在于将深度强化学习应用于QML模型架构的自动搜索。与传统的基于人工经验或预定义ansatz的方法相比，该方法能够更有效地探索模型空间，找到更适合特定任务和量子计算资源的QML模型。此外，论文还提出了一种自适应机制来动态调整学习目标，进一步提高了RL智能体的学习效率。

关键设计：论文中RL智能体采用深度神经网络作为策略网络，使用例如Proximal Policy Optimization (PPO)等算法进行训练。奖励函数的设计至关重要，需要综合考虑模型的精度、电路深度等因素。例如，可以使用分类精度作为主要奖励，同时对电路深度进行惩罚。自适应机制可以根据训练的进展情况动态调整奖励函数的权重，以便更好地平衡精度和资源消耗。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过数值模拟验证了该方法的有效性。实验结果表明，该方法能够找到在保证高分类精度的同时，显著降低电路深度的VQC架构。与传统的基于人工设计的QML模型相比，该方法能够自动发现更优的模型架构，提升了QML模型的性能和效率。具体的性能数据和对比基线在论文中进行了详细的展示。

🎯 应用场景

该研究成果可应用于各种需要利用量子计算加速的机器学习任务，例如量子化学模拟、材料发现、金融建模等。通过自动搜索高效的QML模型架构，可以降低对量子计算专业知识的需求，加速QML技术的普及和应用。此外，该方法还可以用于优化量子控制策略、量子算法设计等其他量子计算领域。

📄 摘要（原文）

The rapid advancement of quantum computing (QC) and machine learning (ML) has given rise to the burgeoning field of quantum machine learning (QML), aiming to capitalize on the strengths of quantum computing to propel ML forward. Despite its promise, crafting effective QML models necessitates profound expertise to strike a delicate balance between model intricacy and feasibility on Noisy Intermediate-Scale Quantum (NISQ) devices. While complex models offer robust representation capabilities, their extensive circuit depth may impede seamless execution on extant noisy quantum platforms. In this paper, we address this quandary of QML model design by employing deep reinforcement learning to explore proficient QML model architectures tailored for designated supervised learning tasks. Specifically, our methodology involves training an RL agent to devise policies that facilitate the discovery of QML models without predetermined ansatz. Furthermore, we integrate an adaptive mechanism to dynamically adjust the learning objectives, fostering continuous improvement in the agent's learning process. Through extensive numerical simulations, we illustrate the efficacy of our approach within the realm of classification tasks. Our proposed method successfully identifies VQC architectures capable of achieving high classification accuracy while minimizing gate depth. This pioneering approach not only advances the study of AI-driven quantum circuit design but also holds significant promise for enhancing performance in the NISQ era.