GroverGPT: A Large Language Model with 8 Billion Parameters for Quantum Searching
作者: Haoran Wang, Pingzhi Li, Min Chen, Jinglei Cheng, Junyu Liu, Tianlong Chen
分类: quant-ph, cs.AI, cs.LG
发布日期: 2024-12-30 (更新: 2025-02-14)
备注: 12 pages including appendices. v2, v3, v4: Add more experiments include ablation tests. Fix the terminology about infidelity. Add more benchmarks including Llama-3.2-3B and DeepSeek-v2-Lite
💡 一句话要点
GroverGPT：一个80亿参数的大语言模型用于量子搜索模拟
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 量子计算 大型语言模型 Grover搜索 量子电路模拟 模式识别
📋 核心要点
- 经典方法模拟量子电路需要大量计算资源，限制了对量子算法的探索和理解。
- GroverGPT利用LLM的模式识别能力，近似模拟Grover量子搜索算法，无需显式表示量子状态。
- 实验表明，GroverGPT在量子搜索任务中显著优于GPT-4o，并在不同qubit数量的系统上展现出良好的泛化能力。
📝 摘要（中文）
量子计算是一种令人兴奋的非冯·诺依曼范式，它在特定问题上提供了超越经典计算的可证明加速。然而，对于当前含噪声的量子设备而言，经典模拟量子电路的实际限制仍不清楚。本文探讨了利用大型语言模型（LLM）模拟量子图灵机输出的潜力，该图灵机使用Grover量子电路，已知Grover量子电路提供了相对于经典算法的二次加速。为此，我们开发了GroverGPT，这是一个基于LLaMA的80亿参数架构的专用模型，在超过15万亿个token上进行了训练。与需要大量计算资源的暴力状态向量模拟不同，GroverGPT采用模式识别来逼近量子搜索算法，而无需显式表示量子状态。分析了9.7万个量子搜索实例后，GroverGPT始终优于OpenAI的GPT-4o（45%的准确率），在4-qubit或更大的数据集上训练时，在6-qubit和10-qubit数据集上实现了接近100%的准确率。它还表现出强大的泛化能力，在3到6-qubit数据上训练时，对于超过20个qubit的系统，准确率超过95%。分析表明，GroverGPT捕获了Grover搜索的量子特征，而不是经典模式，这得到了增强性能的新型提示策略的支持。虽然准确率随着系统规模的增加而下降，但这些发现为了解经典可模拟性的实际边界提供了见解。这项工作表明，特定任务的LLM可以在量子算法学习方面超越像GPT-4o这样的通用模型，并成为推进量子研究的强大工具。
🔬 方法详解
问题定义：论文旨在解决经典计算机模拟量子电路的计算资源瓶颈问题，特别是对于Grover搜索算法。现有方法，如暴力状态向量模拟，需要指数级别的计算资源，难以扩展到更大规模的量子系统。这限制了我们对量子算法的理解和优化，以及对经典可模拟性边界的探索。
核心思路：论文的核心思路是利用大型语言模型（LLM）的模式识别能力，学习Grover量子搜索算法的输入输出关系，从而近似模拟量子电路的行为。通过训练LLM来预测量子搜索的结果，避免了显式计算和存储量子状态向量，大大降低了计算复杂度。
技术框架：GroverGPT基于LLaMA的80亿参数架构，并在超过15万亿个token上进行了训练。训练数据包含大量Grover量子搜索实例的输入输出对。模型通过学习这些数据，建立输入（量子电路描述）和输出（搜索结果）之间的映射关系。在推理阶段，GroverGPT接收量子电路的描述作为输入，并预测搜索结果。
关键创新：最重要的技术创新点在于利用LLM来模拟量子算法，这是一种全新的思路。与传统的数值模拟方法不同，GroverGPT通过学习数据中的模式来逼近量子行为，而无需显式地进行量子计算。此外，论文还提出了新型的提示策略，进一步提升了GroverGPT的性能。
关键设计：GroverGPT使用了标准的Transformer架构，并针对量子搜索任务进行了优化。训练数据生成方面，论文采用了随机生成的Grover搜索实例，并控制了qubit数量和搜索空间的规模。损失函数使用了交叉熵损失，用于衡量预测结果与真实结果之间的差异。此外，论文还探索了不同的提示策略，例如提供额外的上下文信息或引导模型关注特定的量子特征。
🖼️ 关键图片
📊 实验亮点
GroverGPT在量子搜索任务中表现出色，显著优于GPT-4o。在6-qubit和10-qubit数据集上，GroverGPT的准确率接近100%，而GPT-4o仅为45%。此外，GroverGPT还展现出强大的泛化能力，在3到6-qubit数据上训练后，对于超过20个qubit的系统，准确率超过95%。这些结果表明，特定任务的LLM在量子算法学习方面具有巨大的潜力。
🎯 应用场景
该研究成果可应用于量子算法的探索、验证和优化。GroverGPT可以作为一种高效的量子电路模拟器，帮助研究人员快速评估不同量子算法的性能。此外，该研究也为探索经典可模拟性的边界提供了新的思路，有助于理解量子计算的优势和局限性。未来，该方法有望扩展到其他量子算法的模拟，加速量子计算领域的发展。
📄 摘要（原文）
Quantum computing is an exciting non-Von Neumann paradigm, offering provable speedups over classical computing for specific problems. However, the practical limits of classical simulatability for quantum circuits remain unclear, especially with current noisy quantum devices. In this work, we explore the potential of leveraging Large Language Models (LLMs) to simulate the output of a quantum Turing machine using Grover's quantum circuits, known to provide quadratic speedups over classical counterparts. To this end, we developed GroverGPT, a specialized model based on LLaMA's 8-billion-parameter architecture, trained on over 15 trillion tokens. Unlike brute-force state-vector simulations, which demand substantial computational resources, GroverGPT employs pattern recognition to approximate quantum search algorithms without explicitly representing quantum states. Analyzing 97K quantum search instances, GroverGPT consistently outperformed OpenAI's GPT-4o (45\% accuracy), achieving nearly 100\% accuracy on 6- and 10-qubit datasets when trained on 4-qubit or larger datasets. It also demonstrated strong generalization, surpassing 95\% accuracy for systems with over 20 qubits when trained on 3- to 6-qubit data. Analysis indicates GroverGPT captures quantum features of Grover's search rather than classical patterns, supported by novel prompting strategies to enhance performance. Although accuracy declines with increasing system size, these findings offer insights into the practical boundaries of classical simulatability. This work suggests task-specific LLMs can surpass general-purpose models like GPT-4o in quantum algorithm learning and serve as powerful tools for advancing quantum research.