CodeGolf Bench: A Multi-Language Benchmark for Evaluating Concise Code Generation Capabilities of Large Language Models

📄 arXiv: 2605.30394v1 📥 PDF

作者: Vedant Padwal

分类: cs.SE, cs.AI

发布日期: 2026-05-28

备注: 12 pages, 6 figures, 5 tables

💡 一句话要点

提出CodeGolf Bench，用于评估大语言模型在60种编程语言中生成简洁代码的能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码生成 大语言模型 代码高尔夫 基准测试 简洁代码

📋 核心要点

  1. 现有代码生成基准测试存在问题集固定和语言覆盖范围有限的不足，难以全面评估LLM的简洁代码生成能力。
  2. CodeGolf Bench利用code.golf平台，提供动态更新的问题集和实时人类基线，从而更有效地评估LLM的代码简洁性。
  3. 实验结果表明，具备推理能力的LLM在生成简洁代码方面显著优于非推理模型，尤其是在语法严格的C++语言中。

📝 摘要（中文）

本文介绍CodeGolf Bench，一个用于评估大型语言模型(LLM)在60种编程语言中生成简洁代码能力的基准。该基准基于代码高尔夫（一种专注于最小字符或字节解决方案的娱乐性编程竞赛），提供了一种独特的衡量LLM生成高效、简洁代码能力的方法。与受限于固定问题集和语言覆盖范围的现有基准不同，CodeGolf Bench利用code.golf平台提供新的问题和实时的人类性能基线。对九个LLM在Python和C++任务上的评估表明，推理模型明显优于非推理模型，实现了70.97%的最佳平均百分位数。这种性能差距在C++中尤为明显，突出了推理对于具有严格语法要求的语言的重要性。非推理模型在两种语言中的效率优化方面都表现出更大的困难，最佳百分位数明显低于推理模型。CodeGolf Bench提供了一个动态框架，用于评估LLM在代码高尔夫中针对不断发展的人类性能的代码生成能力。

🔬 方法详解

问题定义：论文旨在解决如何有效评估大型语言模型（LLM）生成简洁、高效代码的能力的问题。现有代码生成基准测试通常使用固定的问题集和有限的编程语言，无法充分反映LLM在实际编程场景中的表现，尤其是在代码简洁性和效率方面的能力。此外，缺乏与人类表现的直接对比，难以客观评估LLM的水平。

核心思路：论文的核心思路是利用代码高尔夫（Code Golf）竞赛的特性，构建一个动态、多语言的代码生成评估基准。代码高尔夫的目标是用尽可能少的字符或字节数解决特定的编程问题，这天然地契合了对代码简洁性和效率的评估需求。通过引入code.golf平台，可以获得不断更新的问题集和实时的人类性能基线，从而实现对LLM代码生成能力的动态评估。

技术框架：CodeGolf Bench的整体框架包括以下几个主要组成部分：1) code.golf平台：提供代码高尔夫问题集和人类解决方案；2) LLM代码生成模块：利用LLM生成针对特定问题的代码；3) 代码验证模块：验证生成的代码是否能够正确解决问题；4) 性能评估模块：根据代码的字符数或字节数，与人类解决方案进行比较，计算LLM的性能百分位数。整个流程是：首先从code.golf平台获取问题描述，然后将问题输入LLM，LLM生成代码，验证代码的正确性，最后将代码长度与人类最佳解决方案进行比较，得到LLM的性能排名。

关键创新：该论文最重要的技术创新点在于将代码高尔夫的概念引入到LLM的代码生成能力评估中。与传统的代码生成基准测试相比，CodeGolf Bench具有以下优势：1) 动态问题集：问题集不断更新，避免了LLM对特定问题的过度拟合；2) 多语言支持：支持60种编程语言，覆盖范围更广；3) 实时人类基线：可以与人类最佳解决方案进行直接比较，评估LLM的真实水平；4) 简洁性评估：专注于代码的简洁性和效率，更贴近实际编程需求。

关键设计：CodeGolf Bench的关键设计包括：1) 问题选择策略：从code.golf平台选择具有代表性的问题，覆盖不同的编程范式和难度级别；2) 评估指标：使用代码的字符数或字节数作为主要评估指标，同时考虑代码的运行效率；3) LLM选择：选择具有代表性的LLM，包括推理模型和非推理模型，以比较不同模型的性能差异；4) 实验设置：在Python和C++两种语言上进行实验，评估LLM在不同语言环境下的表现。

📊 实验亮点

实验结果表明，具备推理能力的LLM（如GPT-4）在CodeGolf Bench上的表现明显优于非推理模型。在Python和C++任务中，推理模型实现了70.97%的最佳平均百分位数，而非推理模型的最佳百分位数显著低于推理模型。尤其是在C++语言中，推理能力的提升对代码生成性能的提升更为显著，表明推理能力对于处理语法严格的编程语言至关重要。

🎯 应用场景

CodeGolf Bench可用于评估和比较不同LLM的代码生成能力，指导LLM的训练和优化，提高LLM在软件开发、自动化脚本编写等领域的应用效果。该基准测试还可以促进代码优化技术的研究，推动更高效、更简洁的代码生成方法的发展。此外，该基准测试可以作为教育工具，帮助程序员提高代码简洁性和效率。

📄 摘要（原文）

This paper introduces Code Bench, a benchmark capable of evaluating Large Language Models (LLMs) concise code generation abilities in 60 programming languages. Based on code golf, a recreational programming competition focused on minimal character or byte solutions, the benchmark provides a distinctive measure of LLMs ability to produce efficient, concise code. Unlike existing benchmarks limited by fixed problem sets and language coverage, CodeGolf Bench leverages the code.golf platform to provide new problems and live human performance baselines. Evaluation of nine LLMs on Python and C++ tasks demonstrates that reasoning models significantly outperform non-reasoning models, achieving best average percentile of 70.97%. This performance gap is particularly pronounced in C++, highlighting reasoning's importance for languages with strict syntax requirements. Non-reasoning models struggle more with efficiency optimization across both languages, with best percentiles significantly lower than reasoning counterparts. CodeGolf Bench offers a dynamic framework for evaluating LLM code generation capabilities against evolving human performance on code golf.