Evaluating Language Models for Generating and Judging Programming Feedback

📄 arXiv: 2407.04873v2 📥 PDF

作者: Charles Koutcheme, Nicola Dainese, Arto Hellas, Sami Sarsa, Juho Leinonen, Syed Ashraf, Paul Denny

分类: cs.AI, cs.CY

发布日期: 2024-07-05 (更新: 2024-11-22)

备注: 2 tables. Accepted for SIGCSE TS 2025

💡 一句话要点

评估开源LLM在编程反馈生成与质量评估中的能力，媲美专有模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 编程教育 大型语言模型 开源LLM 反馈生成 质量评估

📋 核心要点

  1. 现有计算机教育研究主要集中于应用和评估专有LLM，缺乏对开源LLM在编程教育中潜力的充分探索。
  2. 该研究评估开源LLM在生成高质量编程反馈和评估反馈质量方面的能力，并与专有模型进行对比分析。
  3. 实验结果表明，先进的开源LLM在编程反馈生成和评估方面，性能几乎与专有模型持平，且小型LLM也表现出高效性。

📝 摘要（中文）

大型语言模型（LLM）的出现已经改变了广泛领域的研究和实践。在计算机教育研究（CER）领域，LLM受到了极大的关注，尤其是在学习编程的背景下。然而，CER中关于LLM的大部分工作都集中在应用和评估专有模型上。在本文中，我们评估了开源LLM在为编程作业生成高质量反馈和判断编程反馈质量方面的效率，并将结果与专有模型进行了对比。我们对学生提交的Python入门编程练习数据集的评估表明，最先进的开源LLM在生成和评估编程反馈方面几乎与专有模型相当。此外，我们还展示了较小LLM在这些任务中的效率，并强调了教育工作者和从业者可以免费使用的各种LLM。

🔬 方法详解

问题定义：论文旨在解决如何利用开源大型语言模型（LLM）高效地生成高质量的编程反馈，并评估这些反馈的质量。现有方法主要依赖于专有LLM，存在成本高昂和可访问性受限的问题，阻碍了其在教育领域的广泛应用。此外，对于开源LLM在编程教育领域的潜力缺乏充分的评估。

核心思路：论文的核心思路是探索和评估开源LLM在编程反馈生成和评估任务中的能力，并将其与专有LLM进行对比。通过实验分析，验证开源LLM是否能够以较低的成本提供与专有LLM相当甚至更好的性能，从而为教育者和实践者提供更多选择。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 数据集构建：收集学生提交的Python入门编程练习及其对应的反馈。2) 模型选择：选择一系列开源和专有的LLM进行评估。3) 反馈生成：使用LLM为学生的编程作业生成反馈。4) 反馈质量评估：使用LLM或人工评估生成的反馈质量。5) 性能对比：对比开源和专有LLM在反馈生成和评估方面的性能。

关键创新：该研究的关键创新在于系统性地评估了开源LLM在编程反馈生成和评估任务中的能力，并将其与专有LLM进行了对比。研究结果表明，开源LLM在这些任务中表现出色，甚至可以与专有LLM相媲美，为教育领域提供了更经济、更易于访问的解决方案。

关键设计：论文的关键设计包括：1) 选择了具有代表性的Python入门编程练习数据集。2) 选择了多个不同规模和架构的开源LLM进行评估。3) 采用了合适的评估指标来衡量反馈的质量，例如准确性、相关性和有用性。4) 对比了不同LLM在生成反馈的速度和成本方面的差异。

📊 实验亮点

实验结果表明，最先进的开源LLM在生成和评估编程反馈方面几乎与专有模型相当。此外，研究还展示了较小LLM在这些任务中的效率，证明了开源LLM在编程教育领域的巨大潜力。具体性能数据未知，但结论强调了开源模型的可行性。

🎯 应用场景

该研究成果可应用于在线编程教育平台、自动评测系统和编程学习辅助工具中，帮助教师更高效地提供个性化反馈，提升学生的编程学习体验。开源LLM的应用降低了成本，使得更多教育机构和学生能够受益于AI驱动的编程教育。

📄 摘要（原文）

The emergence of large language models (LLMs) has transformed research and practice across a wide range of domains. Within the computing education research (CER) domain, LLMs have garnered significant attention, particularly in the context of learning programming. Much of the work on LLMs in CER, however, has focused on applying and evaluating proprietary models. In this article, we evaluate the efficiency of open-source LLMs in generating high-quality feedback for programming assignments and judging the quality of programming feedback, contrasting the results with proprietary models. Our evaluations on a dataset of students' submissions to introductory Python programming exercises suggest that state-of-the-art open-source LLMs are nearly on par with proprietary models in both generating and assessing programming feedback. Additionally, we demonstrate the efficiency of smaller LLMs in these tasks and highlight the wide range of LLMs accessible, even for free, to educators and practitioners.