Reinforced Disentanglers on Random Unitary Circuits
作者: Ning Bao, Keiichiro Furuya, Gun Suer
分类: quant-ph, cond-mat.dis-nn, cond-mat.stat-mech, cs.LG
发布日期: 2024-11-14
备注: 9 pages, 7 figures, 1 table. Submitted to QIP 2025
💡 一句话要点
利用强化学习在随机酉电路中寻找高效解缠器
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 量子计算 强化学习 解缠器 量子纠缠 随机量子电路
📋 核心要点
- 现有方法在解缠随机量子电路时需要大量的测量，效率较低，且难以表征最优解缠器的模式。
- 本文提出使用强化学习方法，通过优化测量策略来寻找高效的解缠器，从而最小化最终状态的纠缠熵。
- 实验结果表明，该方法所需的测量次数远少于现有方法，并且能够有效表征最优解缠器的模式。
📝 摘要（中文）
本文利用近端策略优化（PPO）算法，在砖墙模式排列的双量子比特随机Clifford电路中搜索高效的解缠器。解缠器被定义为插入在连续纠缠层之间的一组投影测量。一个高效的解缠器是一组投影测量，它在尽可能少的总投影次数下，最小化最终状态的平均冯·诺依曼熵。该问题可以通过强化学习技术解决，将沿电路的投影测量表示为二元矩阵作为状态，将二元矩阵上的位翻转操作（添加或删除特定位置的测量）作为动作。根据最终状态的平均冯·诺依曼熵和测量配置给智能体奖励，使其学习最优策略，从没有测量的初始状态转移到最小化纠缠熵的最优测量状态。结果表明，解缠随机量子电路所需的测量次数远少于测量诱导相变论文中的数值结果。此外，强化学习过程使我们能够表征最优解缠器的模式，这在测量诱导相变的研究中是不可能的。
🔬 方法详解
问题定义：论文旨在解决如何高效地解缠随机量子电路的问题。现有的测量诱导相变方法需要大量的测量，计算成本高昂，并且难以揭示最优解缠器的结构模式。
核心思路：论文的核心思路是将解缠问题建模为一个强化学习问题。通过训练一个智能体，使其学习如何在量子电路中插入最优的投影测量序列，从而最小化最终量子态的纠缠熵。这种方法能够自适应地学习最优测量策略，避免了手动设计或穷举搜索的局限性。
技术框架：整体框架包括以下几个主要模块：1) 量子电路模拟器：用于模拟随机Clifford电路的演化过程，并计算最终量子态的冯·诺依曼熵。2) 强化学习智能体：使用PPO算法训练，其状态空间为表示投影测量位置的二元矩阵，动作空间为对该矩阵进行位翻转操作（添加或删除测量）。3) 奖励函数：根据最终量子态的冯·诺依曼熵和测量配置（测量数量）对智能体进行奖励，引导其学习最小化纠缠熵且测量数量最少的策略。
关键创新：最重要的技术创新点在于将强化学习应用于量子电路的解缠问题。与传统的测量诱导相变方法相比，该方法能够自动学习最优的测量策略，显著减少所需的测量次数，并揭示最优解缠器的结构模式。
关键设计：关键设计包括：1) 使用PPO算法作为强化学习算法，因为它具有良好的稳定性和收敛性。2) 设计合适的奖励函数，平衡纠缠熵的最小化和测量数量的减少。3) 选择砖墙模式的双量子比特随机Clifford电路作为实验平台，因为它具有一定的代表性，并且易于模拟。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用强化学习方法解缠随机量子电路所需的测量次数远少于测量诱导相变论文中的数值结果。具体而言，该方法能够找到一种测量模式，在显著减少测量数量的同时，有效地降低最终量子态的纠缠熵。此外，强化学习过程还能够揭示最优解缠器的结构模式，这在传统的测量诱导相变研究中是难以实现的。
🎯 应用场景
该研究成果可应用于量子计算和量子信息处理领域，例如量子纠错、量子通信和量子算法优化。通过高效地解缠量子电路，可以降低量子计算的错误率，提高量子通信的效率，并优化量子算法的性能。此外，该方法还可以用于研究量子多体系统的纠缠性质，为理解量子物质的相变提供新的视角。
📄 摘要（原文）
We search for efficient disentanglers on random Clifford circuits of two-qubit gates arranged in a brick-wall pattern, using the proximal policy optimization (PPO) algorithm \cite{schulman2017proximalpolicyoptimizationalgorithms}. Disentanglers are defined as a set of projective measurements inserted between consecutive entangling layers. An efficient disentangler is a set of projective measurements that minimize the averaged von Neumann entropy of the final state with the least number of total projections possible. The problem is naturally amenable to reinforcement learning techniques by taking the binary matrix representing the projective measurements along the circuit as our state, and actions as bit flipping operations on this binary matrix that add or delete measurements at specified locations. We give rewards to our agent dependent on the averaged von Neumann entropy of the final state and the configuration of measurements, such that the agent learns the optimal policy that will take him from the initial state of no measurements to the optimal measurement state that minimizes the entanglement entropy. Our results indicate that the number of measurements required to disentangle a random quantum circuit is drastically less than the numerical results of measurement-induced phase transition papers. Additionally, the reinforcement learning procedure enables us to characterize the pattern of optimal disentanglers, which is not possible in the works of measurement-induced phase transitions.