Reinforcement learning for quantum processes with memory
作者: Josep Lumbreras, Ruo Cheng Huang, Yanglin Hu, Marco Fanizza, Mile Gu
分类: quant-ph, cs.AI, cs.LG
发布日期: 2026-03-26
备注: 85 pages, 5 figures
💡 一句话要点
提出基于乐观最大似然估计的强化学习算法，解决量子过程中的记忆问题。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 量子过程 量子记忆 乐观最大似然估计 量子控制 量子信息 量子热力学
📋 核心要点
- 传统强化学习难以直接应用于量子系统，因为量子态的演化具有不确定性和隐藏性。
- 论文提出一种基于乐观最大似然估计的强化学习算法，用于处理具有记忆的量子过程。
- 该算法在理论上证明了次线性遗憾度，并在量子功提取任务中实现了渐近零耗散率。
📝 摘要（中文）
在强化学习中，智能体与环境顺序交互以最大化奖励，仅接收部分概率性反馈。这产生了一个基本的探索-利用权衡：智能体必须探索以学习隐藏的动态，同时利用这些知识来最大化其目标。虽然经典强化学习已被广泛研究，但将此框架应用于量子系统需要处理通过未知动态演化的隐藏量子态。我们通过一个框架形式化了这个问题，其中环境维护一个通过未知量子信道演化的隐藏量子记忆，智能体使用量子仪器顺序干预。对于此设置，我们调整了一种乐观最大似然估计算法。我们将分析扩展到连续动作空间，从而可以对一般的正算子值测度（POVM）进行建模。通过控制估计误差通过量子信道和仪器的传播，我们证明了我们的策略在 K 个 episode 上的累积遗憾度与 $\widetilde{\mathcal{O}}(\sqrt{K})$ 成比例。此外，通过简化为多臂量子bandit问题，我们建立了信息论下界，表明这种次线性缩放严格来说是最优的，直到多对数因子。作为一个物理应用，我们考虑与状态无关的功提取。当从由隐藏记忆相关的非独立同分布量子态序列中提取自由能时，任何对源的知识不足都会导致热力学耗散。在我们的设置中，数学上的遗憾度精确地量化了这种累积耗散。使用我们的自适应算法，智能体使用过去的能量结果来动态地改进其提取协议，从而实现次线性累积耗散，并因此实现渐近零耗散率。
🔬 方法详解
问题定义：论文旨在解决在具有记忆的量子过程中，智能体如何通过与环境的顺序交互，学习最优的量子操作策略，从而最大化奖励的问题。现有方法难以处理隐藏的量子态演化和未知的量子信道，导致探索效率低下和性能下降。
核心思路：论文的核心思路是利用乐观最大似然估计（Optimistic Maximum-Likelihood Estimation）来平衡探索和利用。智能体在不确定性较高的情况下倾向于探索，而在对环境有较好估计的情况下则倾向于利用已知信息。通过控制估计误差的传播，保证算法的收敛性。
技术框架：整体框架包含一个智能体和一个环境。环境维护一个隐藏的量子记忆，该记忆通过未知的量子信道演化。智能体通过量子仪器（Quantum Instruments）与环境交互，并接收奖励。算法的主要流程如下： 1. 智能体根据当前的估计选择一个动作（量子仪器）。 2. 环境根据该动作演化其内部状态，并产生一个奖励。 3. 智能体根据接收到的奖励更新其对环境的估计。 4. 重复以上步骤，直到达到预定的 episode 数量。
关键创新：最重要的技术创新点在于将乐观最大似然估计方法扩展到量子领域，并证明了其在具有记忆的量子过程中的有效性。与现有方法相比，该方法能够更好地处理量子态的演化和不确定性，从而实现更快的学习速度和更高的性能。此外，论文还建立了信息论下界，证明了该算法的次线性遗憾度是最优的。
关键设计：论文的关键设计包括： 1. 使用量子仪器来描述智能体的动作，从而能够处理一般的量子操作。 2. 使用乐观最大似然估计来选择动作，从而平衡探索和利用。 3. 通过控制估计误差的传播来保证算法的收敛性。 4. 将分析扩展到连续动作空间，从而能够处理更复杂的量子过程。
🖼️ 关键图片
📊 实验亮点
论文证明了该算法的累积遗憾度与 $\widetilde{\mathcal{O}}(\sqrt{K})$ 成比例，其中 K 是 episode 的数量。通过与信息论下界进行比较，证明了该算法的次线性遗憾度是最优的（直到多对数因子）。在量子功提取任务中，该算法实现了渐近零耗散率，表明其能够有效地利用量子记忆中的信息。
🎯 应用场景
该研究成果可应用于量子信息处理、量子控制和量子机器学习等领域。例如，可以用于优化量子器件的控制策略，提高量子算法的性能，以及设计更有效的量子传感器。此外，该研究对于理解量子热力学和量子耗散也具有重要意义。
📄 摘要（原文）
In reinforcement learning, an agent interacts sequentially with an environment to maximize a reward, receiving only partial, probabilistic feedback. This creates a fundamental exploration-exploitation trade-off: the agent must explore to learn the hidden dynamics while exploiting this knowledge to maximize its target objective. While extensively studied classically, applying this framework to quantum systems requires dealing with hidden quantum states that evolve via unknown dynamics. We formalize this problem via a framework where the environment maintains a hidden quantum memory evolving via unknown quantum channels, and the agent intervenes sequentially using quantum instruments. For this setting, we adapt an optimistic maximum-likelihood estimation algorithm. We extend the analysis to continuous action spaces, allowing us to model general positive operator-valued measures (POVMs). By controlling the propagation of estimation errors through quantum channels and instruments, we prove that the cumulative regret of our strategy scales as $\widetilde{\mathcal{O}}(\sqrt{K})$ over $K$ episodes. Furthermore, via a reduction to the multi-armed quantum bandit problem, we establish information-theoretic lower bounds demonstrating that this sublinear scaling is strictly optimal up to polylogarithmic factors. As a physical application, we consider state-agnostic work extraction. When extracting free energy from a sequence of non-i.i.d. quantum states correlated by a hidden memory, any lack of knowledge about the source leads to thermodynamic dissipation. In our setting, the mathematical regret exactly quantifies this cumulative dissipation. Using our adaptive algorithm, the agent uses past energy outcomes to improve its extraction protocol on the fly, achieving sublinear cumulative dissipation, and, consequently, an asymptotically zero dissipation rate.