Reinforcement learning with learned gadgets to tackle hard quantum problems on real hardware
作者: Akash Kundu, Leopoldo Sarra
分类: quant-ph, cs.AI, cs.LG
发布日期: 2024-10-31 (更新: 2025-05-02)
备注: 23 pages, 13 figures. Comments are encouraged
🔗 代码/项目: GITHUB
💡 一句话要点
提出Gadget强化学习，解决真实量子硬件上的复杂量子问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 量子计算 程序合成 量子电路优化 变分量子算法
📋 核心要点
- 量子电路设计面临状态空间指数增长的挑战，现有方法难以有效探索复杂电路。
- GRL通过程序合成自动生成并集成复合门（gadgets）到强化学习的动作空间，提升探索效率。
- 实验表明，GRL在精度、硬件兼容性和可扩展性方面均优于现有方法，尤其是在资源受限情况下。
📝 摘要（中文）
本文提出了一种名为Gadget强化学习（GRL）的方法，它将强化学习与程序合成相结合，自动生成复合门（gadgets）并将其整合到动作空间中。这增强了参数化量子电路（PQCs）在复杂任务中的探索能力，例如逼近量子哈密顿量的基态，这是一个NP-hard问题。我们使用横向场伊辛模型在典型的计算预算（例如，2-3天的GPU运行时间）下评估了GRL。结果表明，GRL在精度、硬件兼容性和可扩展性方面均有所提高。随着问题规模和复杂性的增加，即使在计算资源受限的情况下，GRL也表现出强大的性能。通过集成gadget提取，GRL有助于发现为特定硬件量身定制的可重用电路组件，从而弥合了算法设计和实际实现之间的差距。这使得GRL成为优化量子电路的通用框架，可应用于特定硬件的优化和变分量子算法。
🔬 方法详解
问题定义：论文旨在解决在真实量子硬件上设计复杂量子电路的难题，特别是逼近量子哈密顿量的基态这一NP-hard问题。现有方法难以有效探索庞大的参数化量子电路空间，导致优化效率低下，且难以适应特定硬件的特性。
核心思路：论文的核心思路是将强化学习与程序合成相结合，通过自动生成和集成复合门（gadgets）来扩展强化学习的动作空间。这些gadgets是针对特定任务和硬件优化的子电路，可以显著提高探索效率和性能。
技术框架：GRL框架包含以下主要模块：1) 强化学习智能体，负责选择动作（包括原始量子门和gadgets）；2) 程序合成模块，负责自动生成和优化gadgets；3) 量子模拟器或真实量子硬件，用于评估电路性能；4) 奖励函数，用于指导强化学习智能体的训练。整个流程迭代进行，智能体根据奖励不断学习和优化电路。
关键创新：GRL的关键创新在于将程序合成与强化学习相结合，实现了自动化的量子电路设计。通过gadgets的引入，GRL能够更有效地探索参数化量子电路空间，并发现针对特定硬件优化的电路结构。这与传统的基于人工设计的量子电路方法有本质区别。
关键设计：GRL的关键设计包括：1) Gadget的表示方式，需要能够有效地编码电路结构和参数；2) 程序合成算法，需要能够高效地搜索gadget空间；3) 奖励函数的设计，需要能够准确地反映电路的性能和硬件兼容性；4) 强化学习算法的选择，需要能够有效地处理高维动作空间和延迟奖励。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GRL在横向场伊辛模型上取得了显著的性能提升。在典型的计算预算下（2-3天GPU运行时间），GRL能够更准确地逼近量子哈密顿量的基态，并且具有更好的硬件兼容性和可扩展性。与传统的强化学习方法相比，GRL能够更快地收敛到最优解，并且能够发现针对特定硬件优化的电路结构。
🎯 应用场景
GRL具有广泛的应用前景，包括量子化学、材料科学、药物发现等领域。它可以用于优化变分量子算法，提高量子计算的精度和效率。此外，GRL还可以用于特定硬件的量子电路优化，充分利用硬件的特性，提高计算性能。未来，GRL有望成为量子计算领域的重要工具，加速量子技术的应用。
📄 摘要（原文）
Designing quantum circuits for specific tasks is challenging due to the exponential growth of the state space. We introduce gadget reinforcement learning (GRL), which integrates reinforcement learning with program synthesis to automatically generate and incorporate composite gates (gadgets) into the action space. This enhances the exploration of parameterized quantum circuits (PQCs) for complex tasks like approximating ground states of quantum Hamiltonians, an NP-hard problem. We evaluate GRL using the transverse field Ising model under typical computational budgets (e.g., 2- 3 days of GPU runtime). Our results show improved accuracy, hardware compatibility and scalability. GRL exhibits robust performance as the size and complexity of the problem increases, even with constrained computational resources. By integrating gadget extraction, GRL facilitates the discovery of reusable circuit components tailored for specific hardware, bridging the gap between algorithmic design and practical implementation. This makes GRL a versatile framework for optimizing quantum circuits with applications in hardware-specific optimizations and variational quantum algorithms. The code is available at: https://github.com/Aqasch/Gadget_RL