Prompt-Based Cost-Effective Evaluation and Operation of ChatGPT as a Computer Programming Teaching Assistant

📄 arXiv: 2501.17176v3 📥 PDF

作者: Marc Ballestero-Ribó, Daniel Ortiz-Martínez

分类: cs.CY, cs.AI, cs.CL

发布日期: 2025-01-24 (更新: 2025-05-04)

💡 一句话要点

提出基于Prompt的ChatGPT评估与应用方案，用于计算机编程教学辅助。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 编程教学 Prompt工程 自动化评估 GPT-4T

📋 核心要点

  1. 现有编程教学中师生比例难以达到1:1，学生难以获得及时反馈，阻碍学习效率。
  2. 利用精心设计的prompt，结合上下文学习，使LLM能够自动评估自身反馈质量，降低错误信息风险。
  3. 实验表明GPT-4T在编程反馈方面优于GPT-3.5T，但仍需改进以确保信息的准确性，才能应用于实际教学。

📝 摘要（中文）

本文研究了大型语言模型（LLMs）在大学编程入门课程中为学生提供反馈的应用。重点评估了GPT-3.5T和GPT-4T在提供编程反馈方面的性能，结果表明GPT-4T优于GPT-3.5T，但由于可能产生不正确的信息，尚未完全适用于实际场景。文章提出了一种精心设计的prompt，利用上下文学习技术自动化评估过程，并为包含不正确信息的反馈比例设定下限，从而节省时间和精力。该prompt生成具有可编程分析结构的反馈，其中包含LLM在解决任务时的诊断信息。最后，文章还提出了一种基于prompt技术的LLM学习工具的实施策略，为教学提供了有趣的可能性。

🔬 方法详解

问题定义：论文旨在解决编程入门课程中学生难以获得及时有效反馈的问题。现有方法依赖人工批改，效率低且成本高。大型语言模型虽然有潜力提供自动化反馈，但其生成信息的准确性存在挑战，可能误导学生。

核心思路：论文的核心思路是利用prompt工程，设计一种能够让LLM在提供反馈的同时，也提供关于自身反馈质量的诊断信息的prompt。通过分析这些诊断信息，可以自动评估LLM反馈的可靠性，从而降低错误信息带来的风险。

技术框架：该方法主要包含以下几个阶段：1) 设计包含编程问题描述和学生代码的prompt；2) 利用LLM（GPT-3.5T或GPT-4T）生成针对学生代码的反馈，同时要求LLM提供诊断信息，例如其对代码的理解、修改建议的理由等；3) 编写程序自动分析LLM生成的反馈和诊断信息，评估反馈的质量和可靠性；4) 基于评估结果，决定是否将反馈提供给学生，或者进行人工干预。

关键创新：论文的关键创新在于提出了一种能够让LLM自我评估反馈质量的prompt设计方法。这种方法不仅可以自动化反馈过程，还可以降低错误信息带来的风险，提高了LLM在编程教学辅助方面的实用性。

关键设计：prompt的设计是关键。prompt需要清晰地描述编程问题，提供学生代码，并明确要求LLM提供反馈和诊断信息。诊断信息的设计需要能够反映LLM对代码的理解程度、修改建议的理由以及对自身反馈的置信度。具体的参数设置和损失函数未知，因为论文主要关注prompt设计和评估方法，而非模型训练。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，GPT-4T在提供编程反馈方面的性能明显优于GPT-3.5T。然而，GPT-4T仍然存在生成不正确信息的可能性，需要进一步改进。通过使用精心设计的prompt，可以自动化评估LLM反馈的质量，并为包含不正确信息的反馈比例设定下限，从而降低风险。

🎯 应用场景

该研究成果可应用于在线编程教育平台，为学生提供24/7的编程辅导服务。通过自动评估LLM反馈的质量，可以降低错误信息带来的风险，提高学生的学习效率。此外，该方法还可以扩展到其他学科的教学辅助，例如数学、物理等。

📄 摘要（原文）

The dream of achieving a student-teacher ratio of 1:1 is closer than ever thanks to the emergence of large language models (LLMs). One potential application of these models in the educational field would be to provide feedback to students in university introductory programming courses, so that a student struggling to solve a basic implementation problem could seek help from an LLM available 24/7. This article focuses on studying three aspects related to such an application. First, the performance of two well-known models, GPT-3.5T and GPT-4T, in providing feedback to students is evaluated. The empirical results showed that GPT-4T performs much better than GPT-3.5T, however, it is not yet ready for use in a real-world scenario. This is due to the possibility of generating incorrect information that potential users may not always be able to detect. Second, the article proposes a carefully designed prompt using in-context learning techniques that allows automating important parts of the evaluation process, as well as providing a lower bound for the fraction of feedbacks containing incorrect information, saving time and effort. This was possible because the resulting feedback has a programmatically analyzable structure that incorporates diagnostic information about the LLM's performance in solving the requested task. Third, the article also suggests a possible strategy for implementing a practical learning tool based on LLMs, which is rooted on the proposed prompting techniques. This strategy opens up a whole range of interesting possibilities from a pedagogical perspective.