D2K-Bench: Can LLM Agents Turn Expert Designs into Efficient GPU Kernels?

📄 arXiv: 2610.03226v1 📥 PDF

作者: Daifeng Li, Huiqiang Jiang, Chengruidong Zhang, Wei Wu, Xudong Guo, Jianhong Tu, Jianwei Zhang, Binhang Yuan, Dayiheng Liu

分类: cs.LG, cs.AI, cs.DC

发布日期: 2026-10-02

备注: 30 pages, 4 figures

💡 一句话要点

提出D2K-Bench以评估LLM代理生成高效GPU内核的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: GPU内核 大型语言模型 专家设计指导 性能优化 深度学习

📋 核心要点

  1. 现有方法生成的GPU内核效率低于专家实现，且运行时间无法揭示设计发现与实现之间的差距。
  2. D2K-Bench通过26个任务和85个工作负载，评估LLM代理如何有效转化专家设计指导为高效GPU内核。
  3. 实验结果表明，专家指导显著提高了模型的正确性和性能评分，展示了设计指导的实际价值。

📝 摘要（中文）

本文介绍了D2K-Bench，这是一个诊断基准，包含26个任务和85个工作负载，旨在评估大型语言模型（LLM）代理将专家设计指导转化为高效GPU内核的能力。该指导涵盖高层算法洞察、数据流设计和低层优化技巧。通过对比有无指导的运行，结果显示在130个模型-任务对中，正确率从93.1%提高到98.5%，性能评分从1.46提升至1.95。对于在所有任务中均正确提交的三种前沿模型，几何平均加速从1.69倍提升至2.49倍，显示了专家设计指导的价值。

🔬 方法详解

问题定义：本文旨在解决LLM代理生成的GPU内核效率低于专家实现的问题，现有方法未能有效利用专家设计指导。

核心思路：通过D2K-Bench基准，评估LLM代理在有无专家指导下的表现，揭示设计指导对生成高效内核的重要性。

技术框架：D2K-Bench包含26个任务和85个工作负载，分为高层算法洞察、数据流设计和低层优化技巧三个层次，进行有指导和无指导的对比实验。

关键创新：引入了多层次的设计指导，涵盖从高层到低层的优化策略，显著提高了生成内核的正确性和性能。

关键设计：在实验中，使用了350轮预算进行任务描述、工作负载、工具和硬件的统一设置，确保评估的公平性和准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，在130个模型-任务对中，使用专家指导后，正确率从93.1%提升至98.5%，性能评分从1.46提升至1.95。对于三种前沿模型，几何平均加速从1.69倍提升至2.49倍，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括高性能计算、深度学习模型优化和图形处理等。通过提高LLM代理生成GPU内核的效率，能够加速科学计算和机器学习任务的执行，具有重要的实际价值和未来影响。

📄 摘要（原文）

GPU kernels generated by large language model (LLM) agents can remain less efficient than expert implementations, but runtime alone does not reveal how the gap relates to design discovery and implementation. We introduce D2K-Bench, a diagnostic benchmark of 26 tasks and 85 workloads that measures how effectively agents translate expert design guidance into efficient GPU kernels. The guidance covers L1: high-level algorithmic insights, L2: dataflow design, and L3: low-level optimization tricks, including dependencies among these levels. Pairwise runs with and without guidance share task descriptions, workloads, tools, hardware, and a 350-turn budget. Complementary assessments examine independently proposed designs and the design properties implemented in generated code. Across five models on NVIDIA B200 GPUs, guidance raises correctness over 130 model-task pairs from 93.1% to 98.5% and increases the Performance Score over all 26 tasks from 1.46 to 1.95. For the three frontier models with correct submissions on all 26 tasks in both runs (GPT-6-Astra, Claude-Opus-4.8, and GPT-5.6-Sol), geometric mean speedup increases from $1.69\times$ to $2.49\times$. Across all five models, the mean combined implementation score increases from 57 to 70 out of 100. These results show the value of expert design guidance while identifying design properties that remain unimplemented.