Evaluating Code Generation of LLMs in Advanced Computer Science Problems

📄 arXiv: 2504.14964v1 📥 PDF

作者: Emir Catir, Robin Claesson, Rodothea Myrsini Tsoupidi

分类: cs.AI, cs.CY

发布日期: 2025-04-21

💡 一句话要点

评估LLM在高级计算机科学问题中的代码生成能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 代码生成 计算机科学教育 高级编程 程序评估

📋 核心要点

  1. 现有研究主要集中于评估LLM在入门级编程任务中的表现，缺乏对LLM在解决高级计算机科学问题上的能力的深入评估。
  2. 该研究通过评估LLM在高级编程课程作业中的代码生成能力，旨在填补这一研究空白，并为教师提供课程设计的指导。
  3. 实验结果表明，LLM在解决高级编程问题时面临挑战，但仍能提供有用的部分解决方案，为高级编程课程的教学提供参考。

📝 摘要（中文）

大型语言模型（LLM），如GitHub Copilot和ChatGPT，在编程学生中越来越受欢迎。学生们使用LLM来辅助编程课程，包括生成源代码。以往的研究评估了LLM在解决入门课程编程作业方面的能力，结果表明LLM在为入门计算机科学（CS）课程生成代码方面非常有效。然而，在评估LLM生成解决高级编程作业的代码能力方面，研究存在空白。本文评估了四种LLM工具在解决Java、Python和C三种流行编程语言的高级CS课程编程作业方面的能力。我们手动选择了12个问题，其中3个来自入门课程作为基线，9个来自二年级和三年级CS课程的编程作业。为了评估LLM生成的代码，我们为每个问题生成了一个包含1000个测试用例的测试套件，并分析了程序输出。我们的评估表明，虽然LLM在为入门编程课程生成源代码方面非常有效，但解决高级编程作业更具挑战性。尽管如此，在许多情况下，LLM能够识别基本问题并提供对CS学生有用的部分解决方案。此外，我们的结果可能为高级编程课程的教师提供关于如何设计编程作业的有用指导。

🔬 方法详解

问题定义：该论文旨在评估大型语言模型（LLM）在解决高级计算机科学课程编程作业中的代码生成能力。现有研究主要集中在入门级编程任务，缺乏对LLM在更复杂、更高级问题上的表现的评估。这导致我们对LLM在实际高级编程场景中的能力缺乏了解，也无法为高级编程课程的教学提供有效指导。

核心思路：核心思路是通过设计一系列来自高级计算机科学课程的编程作业，并利用LLM生成代码来解决这些问题，然后通过大量的测试用例来评估LLM生成的代码的质量和正确性。通过这种方式，可以量化LLM在解决高级编程问题上的能力，并识别其优势和不足。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 手动选择12个编程问题，包括3个入门级问题作为基线，以及9个来自二年级和三年级CS课程的高级问题。2) 选择四种流行的LLM工具进行评估（具体模型名称未知）。3) 使用LLM生成针对每个问题的代码。4) 为每个问题生成包含1000个测试用例的测试套件。5) 运行LLM生成的代码，并分析其输出结果，评估代码的正确性和效率。

关键创新：该研究的关键创新在于其评估对象是高级计算机科学课程的编程作业，这与以往研究主要关注入门级任务不同。通过这种方式，可以更真实地反映LLM在实际高级编程场景中的能力。此外，该研究还使用了大量的测试用例来评估LLM生成的代码，从而提高了评估的可靠性和准确性。

关键设计：关键设计包括：1) 编程问题的选择，需要确保问题具有代表性，能够反映高级计算机科学课程的难度和知识点。2) 测试用例的设计，需要覆盖各种边界情况和异常情况，以全面评估LLM生成的代码的鲁棒性。3) 评估指标的选择，需要能够量化LLM生成的代码的质量，例如正确率、效率、代码风格等。具体参数设置、损失函数和网络结构等细节取决于所使用的LLM工具，论文中未明确给出。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，LLM在解决入门级编程问题时表现出色，但在解决高级编程问题时面临显著挑战。尽管如此，LLM在许多情况下能够识别问题的核心，并提供有用的部分解决方案。这表明LLM可以作为辅助工具，帮助学生理解和解决复杂的编程问题。具体的性能数据和提升幅度未在摘要中给出，属于未知信息。

🎯 应用场景

该研究的成果可以应用于多个领域。首先，它可以帮助计算机科学教师更好地了解LLM在解决高级编程问题上的能力，从而更好地设计课程和作业。其次，它可以为学生提供关于如何有效利用LLM进行编程学习的指导。此外，该研究还可以促进LLM在软件开发领域的应用，例如自动代码生成、代码补全等。

📄 摘要（原文）

Large Language Models (LLMs), such as GitHub Copilot and ChatGPT have become popular among programming students. Students use LLMs to assist them in programming courses, including generating source code. Previous work has evaluated the ability of LLMs in solving introductory-course programming assignments. The results have shown that LLMs are highly effective in generating code for introductory Computer Science (CS) courses. However, there is a gap in research on evaluating LLMs' ability to generate code that solves advanced programming assignments. In this work, we evaluate the ability of four LLM tools to solve programming assignments from advanced CS courses in three popular programming languages, Java, Python, and C. We manually select 12 problems, three problems from introductory courses as the baseline and nine programming assignments from second- and third-year CS courses. To evaluate the LLM-generated code, we generate a test suite of 1000 test cases per problem and analyze the program output. Our evaluation shows that although LLMs are highly effective in generating source code for introductory programming courses, solving advanced programming assignments is more challenging. Nonetheless, in many cases, LLMs identify the base problem and provide partial solutions that may be useful to CS students. Furthermore, our results may provide useful guidance for teachers of advanced programming courses on how to design programming assignments.