APGEM: Adaptive Policy-Guided Error Mitigation for Quantum Reinforcement Learning on a Real-World CVRP Case Study

📄 arXiv: 2609.18219v1 📥 PDF

作者: Shabir Ahmad Sofi, Bisma Majid, Mir Mohammad Yousuf

分类: cs.LG, cs.AI, cs.ET

发布日期: 2026-09-16

备注: Accepted at The 6th International Multi-Conference on Artificial Intelligence Technology (MCAIT2026)

💡 一句话要点

提出APGEM以解决量子强化学习中的误差缓解问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 量子强化学习 误差缓解 自适应策略 容量限制车辆路径问题 城市物流 噪声鲁棒性 组合优化

📋 核心要点

  1. 现有的量子强化学习方法在噪声环境中表现不佳，导致学习过程不稳定，无法有效应对去相干性带来的影响。
  2. 本文提出的APGEM方法通过在线选择多种误差缓解技术，结合学习上下文动态调整，提升了量子强化学习的鲁棒性。
  3. 实验结果表明，QRL代理在真实的CVRP案例中表现优于传统启发式方法，并在高噪声条件下显著提高了近似比率。

📝 摘要（中文）

量子强化学习（QRL）将策略表示为变分量子电路（VQC），在组合优化问题如容量限制车辆路径问题（CVRP）中具有吸引力。然而，在噪声中间规模量子（NISQ）硬件上，去相干性降低了保真度并不稳定学习，传统的误差缓解方法静态应用，未考虑学习上下文。本文提出了自适应策略引导的误差缓解（APGEM），该控制器在线选择零噪声外推（ZNE）、概率误差消除（PEC）、克利福德数据回归（CDR）和读出误差缓解（REM），基于保真度、熵和成本感知的效用函数以及ε-贪婪规则。我们在现实的城市物流测试平台上进行评估，结果显示QRL代理在高噪声下的近似比率从0.84-0.87恢复到0.92-0.94，表明自适应学习感知的缓解方法是实现噪声鲁棒QRL的有效途径。

🔬 方法详解

问题定义：本文旨在解决量子强化学习在噪声环境下的误差缓解问题。现有方法通常静态应用误差缓解技术，未能考虑学习过程中的动态变化，导致学习效果不佳。

核心思路：APGEM通过自适应选择多种误差缓解策略（如ZNE、PEC、CDR和REM），根据当前的学习状态和环境噪声动态调整，从而提高量子强化学习的稳定性和效果。

技术框架：APGEM的整体架构包括一个控制器，该控制器基于保真度、熵和成本感知的效用函数，结合ε-贪婪策略对不同误差缓解技术进行选择。系统在训练过程中不断评估和调整策略，以适应不同的训练阶段。

关键创新：APGEM的主要创新在于其自适应性，能够根据学习上下文动态选择最优的误差缓解策略。这与传统静态方法形成鲜明对比，显著提升了量子强化学习的鲁棒性。

关键设计：在设计中，APGEM使用了多种误差缓解技术，并通过效用函数评估每种技术的适用性。此外，采用了ε-贪婪策略来平衡探索与利用，确保在不同训练阶段的有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，在真实的德里CVRP案例中，QRL代理在高噪声条件下的近似比率从0.84-0.87提升至0.92-0.94，表现优于传统的启发式方法，并接近元启发式方法的性能。这表明APGEM在量子强化学习中的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括城市物流、交通管理和其他需要优化的组合问题。通过提升量子强化学习在噪声环境下的鲁棒性，APGEM有望在实际应用中实现更高效的决策支持，推动量子计算在实际问题中的应用。未来，APGEM的理念也可以扩展到其他领域的量子学习任务中。

📄 摘要（原文）

Quantum Reinforcement Learning (QRL) represents policies as variational quantum circuits (VQCs), making it attractive for combinatorial optimization such as the Capacitated Vehicle Routing Problem (CVRP). On noisy intermediate-scale quantum (NISQ) hardware, however, decoherence degrades fidelity and destabilizes learning, and conventional error mitigation is applied statically without regard to the learning context. We introduce Adaptive Policy-Guided Error Mitigation (APGEM), a controller that selects among Zero-Noise Extrapolation (ZNE), Probabilistic Error Cancellation (PEC), Clifford Data Regression (CDR), and Readout Error Mitigation (REM) online, driven by a fidelity, entropy, and cost aware utility function and an epsilon-greedy rule over temporal-difference Q-scores. We evaluate on a realistic urban-logistics testbed, a Delhi-based CVRP over real landmarks with geodesic inter-node costs, exercised across five noise families and four severity levels. On this instance, the QRL agent outperforms constructive heuristics and approaches metaheuristics, while mitigation restores approximation ratios from 0.84-0.87 to 0.92-0.94 under high noise. The controller shifts from a CDR-dominated regime under short training horizons to a balanced deployment across all four techniques under longer horizons, indicating genuine regime-dependent selection. These preliminary results position adaptive, learning-aware mitigation as a practical route to noise-resilient QRL.