It's-A-Me, Quantum Mario: Scalable Quantum Reinforcement Learning with Multi-Chip Ensembles

📄 arXiv: 2509.00713v1 📥 PDF

作者: Junghoon Justin Park, Huan-Hsin Tseng, Shinjae Yoo, Samuel Yen-Chi Chen, Jiook Cha

分类: quant-ph, cs.AI

发布日期: 2025-08-31

💡 一句话要点

提出多芯片集成框架以解决量子强化学习的可扩展性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 量子强化学习 多芯片集成 量子卷积神经网络 深度Q网络 复杂环境学习

📋 核心要点

  1. 现有的量子强化学习方法受到NISQ时代的量子比特限制和噪声影响，难以在复杂环境中实现有效学习。
  2. 本文提出的多芯片集成框架通过将复杂观察分配到多个量子电路中，结合经典聚合技术，提升了量子强化学习的可扩展性和稳定性。
  3. 实验结果表明，该方法在复杂环境中表现优于传统的经典基线和单芯片量子模型，展示了更高的学习稳定性和性能。

📝 摘要（中文）

量子强化学习（QRL）承诺提供紧凑的函数逼近器，并能够访问广阔的希尔伯特空间，但由于NISQ时代的限制，如量子比特数量有限和噪声积累，其实际进展受到阻碍。本文提出了一种多芯片集成框架，利用多个小型量子卷积神经网络（QCNN）来克服这些限制。该方法将来自超级马里奥兄弟环境的复杂高维观察分配到独立的量子电路中，然后在双深度Q网络（DDQN）框架内对其输出进行经典聚合。这种模块化架构使得QRL能够在以前无法访问的复杂环境中实现，且在性能和学习稳定性上优于经典基线和单芯片量子模型。多芯片集成通过减少维度降低带来的信息损失，展示了增强的可扩展性，同时仍可在近期量子硬件上实现，为将QRL应用于现实问题提供了切实可行的路径。

🔬 方法详解

问题定义：本文旨在解决量子强化学习在NISQ时代面临的量子比特数量有限和噪声积累等问题，这些问题导致现有方法在复杂环境中的学习效果不佳。

核心思路：论文提出通过多芯片集成框架，利用多个小型量子卷积神经网络（QCNN）来处理复杂的高维观察，并在经典层面进行输出聚合，从而克服量子硬件的限制。

技术框架：整体架构包括多个独立的量子电路，每个电路处理不同的观察数据，随后在双深度Q网络（DDQN）中进行输出的经典聚合。该框架的模块化设计使得量子强化学习在复杂环境中得以实现。

关键创新：最重要的技术创新在于引入多芯片集成的概念，通过分布式处理减少信息损失，显著提升了量子强化学习的可扩展性和性能，与传统的单芯片量子模型形成鲜明对比。

关键设计：在网络结构上，采用了小型的量子卷积神经网络（QCNN），并在损失函数设计上结合了经典的DDQN策略，确保了输出的有效聚合与学习稳定性。

📊 实验亮点

实验结果显示，所提出的多芯片集成框架在复杂环境中的学习稳定性和性能显著优于经典基线和单芯片量子模型，具体表现为在多个任务中提升了学习效率和成功率，验证了其实际应用的潜力。

🎯 应用场景

该研究的潜在应用领域包括游戏智能体、复杂决策系统以及其他需要高维数据处理的量子计算任务。通过提供可扩展的量子强化学习框架，未来可能在机器人控制、金融建模等实际问题中发挥重要作用。

📄 摘要（原文）

Quantum reinforcement learning (QRL) promises compact function approximators with access to vast Hilbert spaces, but its practical progress is slowed by NISQ-era constraints such as limited qubits and noise accumulation. We introduce a multi-chip ensemble framework using multiple small Quantum Convolutional Neural Networks (QCNNs) to overcome these constraints. Our approach partitions complex, high-dimensional observations from the Super Mario Bros environment across independent quantum circuits, then classically aggregates their outputs within a Double Deep Q-Network (DDQN) framework. This modular architecture enables QRL in complex environments previously inaccessible to quantum agents, achieving superior performance and learning stability compared to classical baselines and single-chip quantum models. The multi-chip ensemble demonstrates enhanced scalability by reducing information loss from dimensionality reduction while remaining implementable on near-term quantum hardware, providing a practical pathway for applying QRL to real-world problems.