Investigation of Automated Design of Quantum Circuits for Imaginary Time Evolution Methods Using Deep Reinforcement Learning

📄 arXiv: 2604.07951v1 📥 PDF

作者: Ryo Suzuki, Shohei Watabe

分类: quant-ph, cs.AI, cs.LG

发布日期: 2026-04-09

备注: 11 pages, 11 figures

💡 一句话要点

利用深度强化学习自动设计量子电路，加速虚时演化算法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 量子电路设计 深度强化学习 虚时演化 NISQ 量子化学 组合优化 DDQN

📋 核心要点

  1. NISQ设备上VITE算法的实现受限于手动设计ansatz的门数量和电路深度，限制了其应用。
  2. 利用DDQN将电路设计视为多目标优化问题，同时最小化能量期望值和优化电路复杂度。
  3. 实验表明，该方法能显著减少硬件开销，在Max-Cut和分子氢问题上均有优异表现。

📝 摘要（中文）

高效的基态搜索对于推进组合优化问题和量子化学至关重要。变分虚时演化(VITE)方法为变分量子本征求解器(VQE)和量子近似优化算法(QAOA)提供了一种有用的替代方案，但其在含噪声中等规模量子(NISQ)设备上的实现受到手动设计的ansatz的门数量和深度的严重限制。本文提出了一种使用双重深度Q网络(DDQN)自动设计VITE电路的框架。我们的方法将电路构建视为一个多目标优化问题，同时最小化能量期望值和优化电路复杂度。通过引入自适应阈值，我们展示了显著的硬件开销降低。在Max-Cut问题中，我们的智能体自主发现的电路平均比标准硬件高效ansatz减少了约37%的门数和43%的深度。对于分子氢($H_2$)，DDQN也达到了Full-CI极限，同时保持了显著更浅的电路。这些结果表明，深度强化学习有助于找到非直观的最优电路结构，为高效的、硬件感知的量子算法设计提供了一条途径。

🔬 方法详解

问题定义：论文旨在解决在NISQ设备上实现VITE算法时，由于手动设计的量子电路（ansatz）的门数量和深度过大而导致的性能瓶颈问题。现有的手动设计方法难以找到既能保证精度又能降低硬件开销的电路结构，限制了VITE算法的实际应用。

核心思路：论文的核心思路是利用深度强化学习（DRL）自动搜索最优的量子电路结构。通过将电路构建过程建模为一个多目标优化问题，DRL智能体可以在探索过程中学习到既能最小化能量期望值，又能降低电路复杂度的策略。这种方法旨在发现非直观但高效的电路结构，从而克服手动设计的局限性。

技术框架：整体框架包括以下几个主要模块：1) 环境（Quantum Environment）：模拟量子电路的构建和评估过程，接收智能体的动作（添加量子门），并返回奖励（能量期望值和电路复杂度的函数）。2) 智能体（DDQN Agent）：使用双重深度Q网络（DDQN）学习最优策略，根据当前状态选择动作。3) 奖励函数（Reward Function）：根据能量期望值和电路复杂度计算奖励，引导智能体朝着优化目标前进。4) 自适应阈值（Adaptive Thresholds）：动态调整优化目标，平衡能量精度和电路复杂度。

关键创新：最重要的技术创新点在于将量子电路设计问题转化为一个可由深度强化学习解决的多目标优化问题。与传统的基于梯度下降的优化方法不同，DRL能够探索更广阔的电路结构空间，发现非直观的最优解。此外，自适应阈值的引入进一步提高了算法的灵活性和效率。

关键设计：关键的技术细节包括：1) 使用Double Deep-Q Networks (DDQN) 作为强化学习算法，以解决Q-learning中常见的过估计问题。2) 设计合适的奖励函数，平衡能量期望值和电路复杂度，例如使用能量期望值的负值加上电路复杂度的负权重作为奖励。3) 引入自适应阈值，动态调整优化目标，例如根据能量期望值的变化率调整电路复杂度的权重。4) 针对不同的量子门集合和连接方式设计合适的动作空间。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在Max-Cut问题中，自主发现的电路平均比标准硬件高效ansatz减少了约37%的门数和43%的深度。在分子氢($H_2$)的基态能量计算中，DDQN也达到了Full-CI极限，同时保持了显著更浅的电路。这些结果验证了该方法在降低硬件开销和提高算法效率方面的有效性。

🎯 应用场景

该研究成果可应用于量子化学、材料科学、组合优化等领域，通过自动设计高效的量子电路，加速相关问题的求解。尤其是在NISQ时代，该方法能够降低量子算法的硬件需求，使其更容易在现有量子设备上实现，具有重要的实际应用价值和潜力。

📄 摘要（原文）

Efficient ground state search is fundamental to advancing combinatorial optimization problems and quantum chemistry. While the Variational Imaginary Time Evolution (VITE) method offers a useful alternative to Variational Quantum Eigensolver (VQE), and Quantum Approximate Optimization Algorithm (QAOA), its implementation on Noisy Intermediate-Scale Quantum (NISQ) devices is severely limited by the gate counts and depth of manually designed ansatz. Here, we present an automated framework for VITE circuit design using Double Deep-Q Networks (DDQN). Our approach treats circuit construction as a multi-objective optimization problem, simultaneously minimizing energy expectation values and optimizing circuit complexity. By introducing adoptive thresholds, we demonstrate significant hardware overhead reductions. In Max-Cut problems, our agent autonomously discovered circuits with approximately 37\% fewer gates and 43\% less depth than standard hardware-efficient ansatz on average. For molecular hydrogen ($H_2$), the DDQN also achieved the Full-CI limit, with maintaining a significantly shallower circuit. These results suggest that deep reinforcement learning can be helpful to find non-intuitive, optimal circuit structures, providing a pathway toward efficient, hardware-aware quantum algorithm design.