QC-Stark: A Multi-Task Benchmark Revealing Capability Dissociations in LLMs Evaluated on Quantum Computing Tasks

📄 arXiv: 2609.35581v1 📥 PDF

作者: Pranav Gupta

分类: quant-ph, cs.AI, cs.LG

发布日期: 2026-09-28

备注: accepted at the Quantum AI Workshop, Indianapolis IN, August 2026

💡 一句话要点

提出QC-Stark基准以评估LLMs在量子计算任务中的能力差异

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量子计算 大型语言模型 基准评估 能力差异 自动验证 项目反应理论 任务设计

📋 核心要点

  1. 现有方法在评估大型语言模型的量子计算能力时，未能充分揭示任务间的能力差异。
  2. QC-Stark基准通过设计11个量子计算任务，系统性评估LLMs在不同任务上的表现，提供了更细致的能力分析。
  3. 实验结果显示，整体排名与特定任务排名之间存在显著差异，验证了基准的有效性和任务的多样性。

📝 摘要（中文）

我们介绍了QC-Stark，一个用于评估大型语言模型（LLMs）在11个量子计算（QC）任务上的基准，涵盖电路构建、调试、编译、错误纠正和仿真。在2750次评估中（10个模型×11个任务×5个难度级别×5个种子），我们发现整体排名掩盖了每个任务的显著差异。11个任务中，有4个任务的整体与每个任务的排名之间的Spearman相关性在统计上不显著。通过2参数项目反应理论（IRT）模型验证了测量质量，提示敏感性分析确认了排名在不同提示条件下的稳健性。所有任务均可通过执行自动验证，无需人工评估。我们将代码和数据公开在Huggingface上。

🔬 方法详解

问题定义：本论文旨在解决现有评估大型语言模型在量子计算任务中的能力时，未能揭示任务间能力差异的问题。现有方法往往只提供整体性能评估，忽视了模型在特定任务上的表现差异。

核心思路：QC-Stark基准通过设计11个量子计算相关任务，涵盖从电路构建到错误纠正的多种任务，系统性地评估LLMs的能力，确保每个任务的评估都是自动化且可验证的。

技术框架：QC-Stark的整体架构包括任务设计、模型评估和结果分析三个主要模块。首先，设计11个量子计算任务；其次，对10个不同的LLMs进行评估；最后，分析不同任务的表现及其相关性。

关键创新：QC-Stark的主要创新在于其任务的多样性和自动验证机制，使得评估过程不再依赖人工评估，提升了评估的效率和准确性。与现有方法相比，它能够揭示模型在特定任务上的能力差异。

关键设计：在设计过程中，采用了2参数项目反应理论（IRT）模型来验证测量质量，并进行了提示敏感性分析，以确保在不同提示条件下排名的稳健性。所有任务均可通过执行自动验证，确保评估的客观性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，整体排名与特定任务排名之间的Spearman相关性在4个任务中统计上不显著，表明模型在不同任务上的能力差异显著。此外，基于2750次评估的结果，QC-Stark为量子计算任务的LLMs评估提供了新的视角和方法。

🎯 应用场景

QC-Stark基准的潜在应用场景包括量子计算领域的教育、研究和工业应用。通过提供更细致的模型评估，研究人员和开发者可以更好地理解和优化LLMs在量子计算任务中的表现，从而推动量子计算技术的发展与应用。

📄 摘要（原文）

We introduce QC-Stark, a benchmark for evaluating large language models (LLMs) on 11 quantum computing (QC) tasks, spanning circuit construction, debugging, compilation, error correction, and simulation. Across 2,750 evaluations (10 models $\times$ 11 tasks x 5 difficulty levels x 5 seeds), we find that overall rankings mask substantial per-task variation. The Spearman correlation between overall and per-task rankings is statistically insignificant for 4 out of the 11 tasks included in this benchmark. A 2-parameter Item Response Theory (IRT) model validates measurement quality, and prompt sensitivity analysis confirms ranking robustness across prompt conditions. All tasks are auto-verifiable via execution, thus not requiring any manual evaluation. We make the code and data publicly available on Huggingface.