A Study on Optimization Techniques for Variational Quantum Circuits in Reinforcement Learning

📄 arXiv: 2405.12354v1 📥 PDF

作者: Michael Kölle, Timo Witter, Tobias Rohe, Gerhard Stenzel, Philipp Altmann, Thomas Gabor

分类: quant-ph, cs.AI, cs.LG

发布日期: 2024-05-20

备注: Accepted at QSW 2024

💡 一句话要点

研究变分量子电路优化技术，提升强化学习在NISQ时代的性能与稳定性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 变分量子电路 强化学习 量子计算 NISQ时代 优化技术 数据重上传 学习率衰减

📋 核心要点

  1. NISQ时代量子计算面临量子比特数量限制和噪声干扰，导致强化学习训练困难。
  2. 论文探索数据重上传、输入/输出缩放以及指数学习率衰减等技术，优化VQC在强化学习中的应用。
  3. 实验表明，数据重上传和指数学习率衰减能显著提升超参数稳定性和整体性能，输出缩放可提高学习速度和鲁棒性。

📝 摘要（中文）

量子计算旨在通过减少可训练参数来简化机器学习，从而提高效率并降低计算资源消耗。然而，在噪声中等规模量子（NISQ）时代，由于量子比特数量有限和普遍存在的量子噪声，学习变得困难。为了克服这些挑战，研究人员专注于变分量子电路（VQC）。VQC是一种混合算法，它将量子电路（可通过参数调整）与传统经典优化技术相结合。这些电路只需少量量子比特即可进行有效学习。最近的研究提出了将VQC应用于强化学习的新方法，显示出有希望的结果，值得进一步探索。本研究调查了各种技术（数据重上传、输入缩放、输出缩放）的影响，并在量子近端策略优化算法的actor-VQC中引入了指数学习率衰减。我们在流行的Frozen Lake和Cart Pole环境中评估这些方法。我们的重点是它们在不损失有效性的前提下减少VQC中参数数量的能力。我们的研究结果表明，数据重上传和指数学习率衰减显著增强了超参数的稳定性和整体性能。虽然输入缩放不能提高参数效率，但输出缩放有效地管理了贪婪性，从而提高了学习速度和鲁棒性。

🔬 方法详解

问题定义：在NISQ时代，如何在量子比特数量有限和存在噪声的情况下，有效地利用变分量子电路（VQC）进行强化学习？现有的VQC强化学习方法可能存在参数效率低、超参数敏感以及训练不稳定等问题。

核心思路：通过优化VQC的结构和训练过程，提高其在强化学习任务中的性能和稳定性。具体而言，论文探索了数据重上传、输入/输出缩放以及指数学习率衰减等技术，旨在减少VQC的参数数量，提高超参数的鲁棒性，并加速学习过程。

技术框架：该研究采用混合量子-经典框架，其中VQC作为强化学习智能体的策略网络（actor），用于生成动作。经典优化器（如近端策略优化PPO）用于更新VQC的参数。整个流程包括：1）从环境中获取状态；2）将状态输入VQC；3）VQC输出动作概率分布；4）根据概率分布选择动作；5）执行动作并获得奖励；6）使用PPO算法更新VQC参数。

关键创新：该研究的关键创新在于系统性地研究了多种优化技术对VQC强化学习性能的影响，并提出了将指数学习率衰减应用于actor-VQC。数据重上传通过多次利用输入数据来增加模型的表达能力，而无需增加量子比特的数量。输入/输出缩放可以调整输入数据的范围和输出动作的贪婪程度。指数学习率衰减可以帮助优化器更快地收敛到最优解，并提高训练的稳定性。

关键设计：论文使用了特定的VQC结构，例如硬件高效的ansatz。数据重上传的具体实现方式是将输入数据多次编码到量子电路中。输入缩放通过线性变换将输入状态映射到[-1, 1]区间。输出缩放通过sigmoid函数将VQC的输出映射到[0, 1]区间，从而控制动作选择的贪婪程度。指数学习率衰减采用如下公式：lr = initial_lr * decay_rate ^ (global_step / decay_steps)，其中initial_lr是初始学习率，decay_rate是衰减率，global_step是全局步数，decay_steps是衰减步数。

📊 实验亮点

实验结果表明，数据重上传和指数学习率衰减显著提高了VQC强化学习的性能和稳定性。在Frozen Lake和Cart Pole环境中，采用数据重上传和指数学习率衰减的VQC智能体能够更快地学习到最优策略，并且对超参数的选择更加鲁棒。输出缩放可以有效地管理动作选择的贪婪程度，从而提高学习速度。虽然输入缩放没有显著提高参数效率，但它可以作为一种预处理技术来改善模型的性能。

🎯 应用场景

该研究成果可应用于资源受限环境下的智能控制、机器人导航、金融交易等领域。通过优化VQC结构和训练方法，可以在量子计算机上实现高效的强化学习智能体，从而解决传统方法难以处理的复杂问题。未来的研究可以进一步探索更先进的量子算法和优化技术，以提高VQC强化学习的性能和可扩展性。

📄 摘要（原文）

Quantum Computing aims to streamline machine learning, making it more effective with fewer trainable parameters. This reduction of parameters can speed up the learning process and reduce the use of computational resources. However, in the current phase of quantum computing development, known as the noisy intermediate-scale quantum era (NISQ), learning is difficult due to a limited number of qubits and widespread quantum noise. To overcome these challenges, researchers are focusing on variational quantum circuits (VQCs). VQCs are hybrid algorithms that merge a quantum circuit, which can be adjusted through parameters, with traditional classical optimization techniques. These circuits require only few qubits for effective learning. Recent studies have presented new ways of applying VQCs to reinforcement learning, showing promising results that warrant further exploration. This study investigates the effects of various techniques -- data re-uploading, input scaling, output scaling -- and introduces exponential learning rate decay in the quantum proximal policy optimization algorithm's actor-VQC. We assess these methods in the popular Frozen Lake and Cart Pole environments. Our focus is on their ability to reduce the number of parameters in the VQC without losing effectiveness. Our findings indicate that data re-uploading and an exponential learning rate decay significantly enhance hyperparameter stability and overall performance. While input scaling does not improve parameter efficiency, output scaling effectively manages greediness, leading to increased learning speed and robustness.