Model-free Distortion Canceling and Control of Quantum Devices
作者: Ahmed F. Fouad, Akram Youssry, Ahmed El-Rafei, Sherif Hammad
分类: quant-ph, cs.LG, eess.SY
发布日期: 2024-07-13
💡 一句话要点
提出基于深度强化学习的量子设备无模型失真消除与控制方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 量子控制 深度强化学习 无模型控制 量子设备 失真消除
📋 核心要点
- 量子设备控制面临经典失真和系统建模困难两大挑战，传统方法难以有效应对。
- 提出基于深度强化学习的无模型控制方法，无需系统建模，直接学习控制策略。
- 通过光子波导阵列芯片的数值模拟验证，控制器能以高于99%的保真度生成目标分布。
📝 摘要（中文）
量子设备需要精确控制才能充分发挥其能力。本文致力于解决闭合量子系统的控制问题，主要解决两个问题。首先，实际控制信号通常会受到未知的经典失真影响，这些失真可能来自设备制造、材料属性或产生这些信号的仪器。其次，在大多数情况下，由于某些变量之间的关系不确定以及无法访问系统内部的一些测量，因此对系统进行建模非常困难甚至不可行。在本文中，我们提出了一种通用的基于深度强化学习（DRL）的无模型控制方法，该方法适用于任何闭合量子系统。我们使用REINFORCE策略梯度算法训练深度神经网络（NN），以控制闭合量子系统演化过程中的状态概率分布，并将其驱动到不同的目标分布。我们提出了一种包含多个神经网络的新型控制器架构。这使得可以容纳任意数量的不同目标状态分布，而不会增加神经网络的复杂性或其训练过程。所使用的DRL算法适用于控制问题可以建模为马尔可夫决策过程（MDP）或部分可观察MDP的情况。我们的方法适用于离散值或连续值的控制信号。我们通过基于光子波导阵列芯片的数值模拟验证了我们的方法。我们训练了一个控制器来生成芯片的不同目标输出分布序列，其保真度高于99％，并且该控制器在消除经典信号失真方面表现出卓越的性能。
🔬 方法详解
问题定义：论文旨在解决量子设备控制中存在的两个主要问题：一是控制信号受到未知的经典失真影响，这些失真源于设备制造、材料属性或信号生成仪器；二是由于系统变量关系的不确定性和内部测量不可访问性，难以对量子系统进行精确建模。现有方法通常依赖于精确的系统模型，因此在实际应用中受到限制。
核心思路：论文的核心思路是采用深度强化学习（DRL）构建一个无模型的控制器。该控制器直接从与量子系统的交互中学习最优控制策略，无需显式地建立系统模型。通过深度神经网络（NN）逼近复杂的控制策略，并利用REINFORCE算法进行训练，从而实现对量子系统状态概率分布的精确控制。
技术框架：整体框架包括一个闭合量子系统和一个基于深度神经网络的控制器。控制器接收量子系统的当前状态作为输入，输出控制信号，作用于量子系统。量子系统根据控制信号演化到新的状态，并将新的状态反馈给控制器。控制器通过与量子系统的不断交互，利用REINFORCE算法更新神经网络的参数，从而优化控制策略。论文提出的控制器架构包含多个神经网络，每个网络对应一个目标状态分布。
关键创新：论文的关键创新在于提出了一种无模型的控制方法，该方法不需要对量子系统进行建模，可以直接从数据中学习控制策略。此外，论文还提出了一种新型的控制器架构，该架构可以容纳任意数量的不同目标状态分布，而不会增加神经网络的复杂性或训练过程。
关键设计：控制器使用深度神经网络来逼近控制策略。神经网络的输入是量子系统的当前状态，输出是控制信号。论文使用REINFORCE策略梯度算法来训练神经网络。REINFORCE算法通过最大化期望回报来优化控制策略。论文还设计了一种特殊的奖励函数，该奖励函数鼓励控制器将量子系统驱动到目标状态分布。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的基于深度强化学习的控制器能够以高于99%的保真度生成光子波导阵列芯片的不同目标输出分布序列。该控制器在消除经典信号失真方面表现出卓越的性能，验证了该方法在实际量子设备控制中的有效性。相较于依赖精确系统模型的方法，该方法具有更强的鲁棒性和适应性。
🎯 应用场景
该研究成果可广泛应用于量子计算、量子通信和量子传感等领域。通过消除控制信号的失真并实现精确的量子态控制，可以提高量子设备的性能和可靠性，推动量子技术的发展。该方法无需系统建模的特性，使其在复杂量子系统的控制中具有独特的优势，有望加速量子技术在实际场景中的应用。
📄 摘要（原文）
Quantum devices need precise control to achieve their full capability. In this work, we address the problem of controlling closed quantum systems, tackling two main issues. First, in practice the control signals are usually subject to unknown classical distortions that could arise from the device fabrication, material properties and/or instruments generating those signals. Second, in most cases modeling the system is very difficult or not even viable due to uncertainties in the relations between some variables and inaccessibility to some measurements inside the system. In this paper, we introduce a general model-free control approach based on deep reinforcement learning (DRL), that can work for any closed quantum system. We train a deep neural network (NN), using the REINFORCE policy gradient algorithm to control the state probability distribution of a closed quantum system as it evolves, and drive it to different target distributions. We present a novel controller architecture that comprises multiple NNs. This enables accommodating as many different target state distributions as desired, without increasing the complexity of the NN or its training process. The used DRL algorithm works whether the control problem can be modeled as a Markov decision process (MDP) or a partially observed MDP. Our method is valid whether the control signals are discrete- or continuous-valued. We verified our method through numerical simulations based on a photonic waveguide array chip. We trained a controller to generate sequences of different target output distributions of the chip with fidelity higher than 99%, where the controller showed superior performance in canceling the classical signal distortions.