QCoder Benchmark: Bridging Language Generation and Quantum Hardware through Simulator-Based Feedback

📄 arXiv: 2510.26101v2 📥 PDF

作者: Taku Mikuriya, Tatsuya Ishigaki, Masayuki Kawarada, Shunya Minami, Tadashi Kadowaki, Yohichi Suzuki, Soshun Naito, Shunya Takata, Takumi Kato, Tamotsu Basseda, Reo Yamada, Hiroya Takamura

分类: cs.CL, cs.PL, quant-ph

发布日期: 2025-10-30 (更新: 2025-11-01)

备注: Accepted to INLG2025

💡 一句话要点

提出QCoder Benchmark，通过模拟器反馈评估LLM在量子编程中的代码生成能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量子编程 代码生成 大型语言模型 评估框架 量子模拟器

📋 核心要点

  1. 现有代码生成任务在量子编程等硬件交互领域缺乏有效评估，难以指导LLM生成高质量的量子代码。
  2. QCoder Benchmark利用量子模拟器提供领域特定反馈，并结合人工代码进行对比，从而更全面地评估LLM的量子编程能力。
  3. 实验表明，现有LLM在QCoder Benchmark上表现不佳，但基于推理的模型表现出潜力，为未来研究提供了方向。

📝 摘要（中文）

本文提出了QCoder Benchmark，一个评估大型语言模型（LLMs）在量子编程中代码生成能力的框架。该框架通过模拟硬件设备的反馈来指导代码生成，弥补了现有方法在硬件交互领域的不足。QCoder Benchmark支持使用量子模拟器环境进行评估，提供电路深度、执行时间和错误分类等领域特定指标。此外，它还包含从真实编程竞赛中收集的人工编写代码，用于定量比较和定性分析LLM的输出。实验结果表明，即使是GPT-4o等先进模型也仅能达到约18.97%的准确率，而基于推理的模型如o3则能达到高达78%的准确率，超过了人工编写代码的平均成功率（39.98%）。该数据集和公共评估API已开源。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在量子编程代码生成方面的评估问题。现有的代码生成评估方法主要集中在通用编程语言上，缺乏对量子计算这种需要与硬件交互的特定领域的有效评估。因此，现有方法无法充分评估LLMs生成量子代码的能力，也无法提供针对量子硬件特性的反馈，导致生成的代码质量难以保证。

核心思路：论文的核心思路是构建一个基于量子模拟器的评估框架，该框架能够提供领域特定的反馈指标，例如电路深度、执行时间和错误分类等。通过这些反馈，可以更准确地评估LLMs生成的量子代码的质量，并指导LLMs生成更优的代码。此外，该框架还包含人工编写的量子代码，用于与LLMs生成的代码进行对比，从而更全面地评估LLMs的性能。

技术框架：QCoder Benchmark的整体框架包括以下几个主要模块：1) 问题定义模块：定义量子编程任务，例如量子算法的实现。2) 代码生成模块：利用LLMs生成量子代码。3) 量子模拟器模块：使用量子模拟器执行生成的代码，并提供领域特定的反馈指标。4) 评估模块：根据反馈指标和人工代码，评估LLMs生成的代码的质量。5) 数据集模块：包含量子编程任务、人工编写的代码和LLMs生成的代码。

关键创新：QCoder Benchmark的关键创新在于：1) 引入了量子模拟器作为评估LLMs生成量子代码的反馈机制，从而能够提供领域特定的反馈指标。2) 结合了人工编写的量子代码，用于与LLMs生成的代码进行对比，从而更全面地评估LLMs的性能。3) 构建了一个包含量子编程任务、人工编写的代码和LLMs生成的代码的benchmark数据集，为未来的研究提供了基础。

关键设计：QCoder Benchmark的关键设计包括：1) 量子模拟器的选择：选择了能够提供准确模拟结果和丰富反馈指标的量子模拟器。2) 评估指标的设计：设计了电路深度、执行时间和错误分类等领域特定的评估指标，用于评估生成的量子代码的质量。3) 数据集的构建：收集了来自真实编程竞赛的人工编写的量子代码，并设计了多种难度的量子编程任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，即使是GPT-4o等先进模型在QCoder Benchmark上的准确率仅为18.97%左右，表明量子编程任务的难度。然而，基于推理的模型如o3达到了高达78%的准确率，显著优于人工编写代码的平均成功率（39.98%），这表明基于推理的模型在量子编程领域具有潜力。

🎯 应用场景

QCoder Benchmark可应用于量子算法开发、量子软件工程和量子计算教育等领域。它可以帮助研究人员和开发人员评估和改进LLM在量子编程中的应用，加速量子软件的开发进程，并为量子计算教育提供有效的评估工具。该benchmark还有助于推动LLM在其他硬件交互领域的应用。

📄 摘要（原文）

Large language models (LLMs) have increasingly been applied to automatic programming code generation. This task can be viewed as a language generation task that bridges natural language, human knowledge, and programming logic. However, it remains underexplored in domains that require interaction with hardware devices, such as quantum programming, where human coders write Python code that is executed on a quantum computer. To address this gap, we introduce QCoder Benchmark, an evaluation framework that assesses LLMs on quantum programming with feedback from simulated hardware devices. Our benchmark offers two key features. First, it supports evaluation using a quantum simulator environment beyond conventional Python execution, allowing feedback of domain-specific metrics such as circuit depth, execution time, and error classification, which can be used to guide better generation. Second, it incorporates human-written code submissions collected from real programming contests, enabling both quantitative comparisons and qualitative analyses of LLM outputs against human-written codes. Our experiments reveal that even advanced models like GPT-4o achieve only around 18.97% accuracy, highlighting the difficulty of the benchmark. In contrast, reasoning-based models such as o3 reach up to 78% accuracy, outperforming averaged success rates of human-written codes (39.98%). We release the QCoder Benchmark dataset and public evaluation API to support further research. (Codes and datasets are available at https://qcoder-bench.github.io/ )