Automated Assignment Grading with Large Language Models: Insights From a Bioinformatics Course
作者: Pavlin G. Poličar, Martin Špendl, Tomaž Curk, Blaž Zupan
分类: cs.LG, cs.CY
发布日期: 2025-01-24
💡 一句话要点
利用大型语言模型自动评分：生物信息学课程的实践与启示
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 自动评分 自然语言处理 教育应用 生物信息学
📋 核心要点
- 传统人工评分耗时费力，难以在大规模课程中提供个性化反馈，影响学生学习效果。
- 利用大型语言模型自动评分，通过精心设计的提示，实现与人工评分员相当的准确性和反馈质量。
- 实验表明，开源LLM的性能与商业LLM相当，为学校构建私有化评分系统提供了可能。
📝 摘要（中文）
通过作业为学生提供个性化反馈是教育的重要组成部分，有助于他们的学习和发展。研究表明，及时、高质量的反馈在提高学习成果方面起着关键作用。然而，由于需要大量的时间和精力，在大班教学中大规模提供个性化反馈通常是不切实际的。自然语言处理和大型语言模型（LLM）的最新进展提供了一个有希望的解决方案，可以通过高效地提供个性化反馈来减少课程人员的工作量，同时提高学生的满意度和学习成果。然而，它们的成功实施需要在真实的课堂中进行彻底的评估和验证。本文介绍了在卢布尔雅那大学2024/25学年生物信息学导论课程中，基于LLM的评分器对书面作业进行实际评估的结果。在一个学期中，100多名学生回答了36个基于文本的问题，其中大部分由LLM自动评分。在一项盲法研究中，学生收到了来自LLM和人工助教的反馈，但不知道来源，之后对反馈的质量进行了评分。我们对六种商业和开源LLM进行了系统评估，并将它们的评分性能与人工助教进行了比较。结果表明，通过精心设计的提示，LLM可以达到与人工评分员相当的评分准确性和反馈质量。我们的结果还表明，开源LLM的性能与商业LLM一样好，这使得学校可以在保持隐私的同时实施自己的评分系统。
🔬 方法详解
问题定义：论文旨在解决大规模课程中人工评分耗时费力，难以提供个性化反馈的问题。现有方法依赖人工助教，成本高昂且效率低下，无法满足学生对及时、高质量反馈的需求。
核心思路：论文的核心思路是利用大型语言模型（LLM）的自然语言处理能力，自动对学生的书面作业进行评分和提供反馈。通过精心设计的提示（prompt），引导LLM理解题目要求，评估学生答案的质量，并生成个性化的反馈意见。
技术框架：该研究采用实验评估的方法，在生物信息学导论课程中，将LLM评分与人工评分进行对比。整体流程包括：1. 学生提交书面作业；2. LLM和人工助教分别对作业进行评分和提供反馈；3. 学生对收到的反馈进行质量评估（盲法）；4. 对比LLM和人工助教的评分准确性和反馈质量。
关键创新：该研究的关键创新在于验证了LLM在自动评分领域的有效性，并证明了开源LLM在特定任务上可以与商业LLM相媲美。此外，研究还强调了提示工程（prompt engineering）在提高LLM评分性能中的重要作用。
关键设计：研究中使用了六种LLM，包括商业LLM和开源LLM。关键设计在于如何设计有效的提示，以引导LLM理解题目要求，并生成高质量的反馈。具体的提示设计细节未知，但强调了提示对LLM性能的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，经过精心设计的提示，LLM的评分准确性和反馈质量可以与人工评分员相媲美。此外，开源LLM的性能与商业LLM相当，这意味着学校可以使用开源LLM构建自己的评分系统，从而降低成本并保护学生隐私。具体的性能数据和提升幅度未知。
🎯 应用场景
该研究成果可应用于各种需要对书面作业进行评分的教育场景，例如大学课程、在线教育平台等。通过自动化评分过程，可以减轻教师和助教的工作负担，提高评分效率，并为学生提供及时、个性化的反馈，从而提升学习效果。此外，该研究还为学校构建私有化、低成本的自动评分系统提供了参考。
📄 摘要（原文）
Providing students with individualized feedback through assignments is a cornerstone of education that supports their learning and development. Studies have shown that timely, high-quality feedback plays a critical role in improving learning outcomes. However, providing personalized feedback on a large scale in classes with large numbers of students is often impractical due to the significant time and effort required. Recent advances in natural language processing and large language models (LLMs) offer a promising solution by enabling the efficient delivery of personalized feedback. These technologies can reduce the workload of course staff while improving student satisfaction and learning outcomes. Their successful implementation, however, requires thorough evaluation and validation in real classrooms. We present the results of a practical evaluation of LLM-based graders for written assignments in the 2024/25 iteration of the Introduction to Bioinformatics course at the University of Ljubljana. Over the course of the semester, more than 100 students answered 36 text-based questions, most of which were automatically graded using LLMs. In a blind study, students received feedback from both LLMs and human teaching assistants without knowing the source, and later rated the quality of the feedback. We conducted a systematic evaluation of six commercial and open-source LLMs and compared their grading performance with human teaching assistants. Our results show that with well-designed prompts, LLMs can achieve grading accuracy and feedback quality comparable to human graders. Our results also suggest that open-source LLMs perform as well as commercial LLMs, allowing schools to implement their own grading systems while maintaining privacy.