Can LLMs Grade Short-Answer Reading Comprehension Questions : An Empirical Study with a Novel Dataset

📄 arXiv: 2310.18373v2 📥 PDF

作者: Owen Henkel, Libby Hills, Bill Roberts, Joshua McGrane

分类: cs.CL, cs.AI

发布日期: 2023-10-26 (更新: 2024-05-05)

💡 一句话要点

利用大型语言模型自动评分短答案阅读理解题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自动评分 短答案问题 阅读理解 形成性评估 教育技术 机器学习

📋 核心要点

  1. 现有的开放式问题评分方法耗时且复杂，限制了教师的评估能力。
  2. 论文提出利用最新的大型语言模型（LLMs）来自动评分短答案问题，降低技术门槛。
  3. 实验结果显示，GPT-4在新数据集上的评分表现接近专家评审，具有较高的准确性。

📝 摘要（中文）

开放式问题要求学生提供多词且非平凡的回答，是一种流行的形成性评估工具，能够更具体地洞察学生的知识掌握情况。然而，评分开放式问题耗时较长，导致教师倾向于使用更简单的问题格式或减少形成性评估。尽管自动评分短答案（ASAG）已有长期研究，但以往方法技术复杂，限制了其在形成性评估中的应用。本文探讨了最新一代大型语言模型（LLMs）在ASAG中的潜力，特别是在评分来自加纳150多名学生的短答案阅读理解问题方面。研究结果表明，GPT-4在评分新数据集时表现优异，接近专家评分者的水平。这项工作首次实证评估了生成性LLMs在真实学生数据上的表现，表明其在形成性识字评估任务中的应用潜力。

🔬 方法详解

问题定义：本文旨在解决开放式问题评分的耗时和复杂性问题，现有方法难以在形成性评估中广泛应用。

核心思路：通过引入最新的大型语言模型（LLMs），特别是GPT-4，来自动化评分过程，降低教师的工作负担。

技术框架：研究首先构建了一个新的短答案阅读理解问题数据集，然后评估不同配置的生成性LLMs在评分学生回答时的表现，最后与专家评分进行对比。

关键创新：本研究首次实证评估生成性LLMs在短答案阅读理解问题上的表现，且使用了来自低收入国家的真实学生数据，填补了现有研究的空白。

关键设计：在实验中，GPT-4的提示工程设计简单，使用了最小的参数调整，确保了其在评分任务中的高效性和准确性。实验结果显示，GPT-4的评分与专家评分者的Kappa值达到0.92，F1值为0.89。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，GPT-4在新数据集上的评分表现非常出色，Kappa值达到0.92，F1值为0.89，几乎与专家评分者持平。这表明生成性LLMs在短答案阅读理解问题的评分中具有很高的准确性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括教育评估、在线学习平台和智能辅导系统。通过自动评分，教师可以更高效地进行形成性评估，从而及时了解学生的学习进展，提升教育质量。未来，生成性LLMs可能在个性化学习和教育公平方面发挥更大作用。

📄 摘要（原文）

Open-ended questions, which require students to produce multi-word, nontrivial responses, are a popular tool for formative assessment as they provide more specific insights into what students do and don't know. However, grading open-ended questions can be time-consuming leading teachers to resort to simpler question formats or conduct fewer formative assessments. While there has been a longstanding interest in automating of short-answer grading (ASAG), but previous approaches have been technically complex, limiting their use in formative assessment contexts. The newest generation of Large Language Models (LLMs) potentially makes grading short answer questions more feasible. This paper investigates the potential for the newest version of LLMs to be used in ASAG, specifically in the grading of short answer questions for formative assessments, in two ways. First, it introduces a novel dataset of short answer reading comprehension questions, drawn from a set of reading assessments conducted with over 150 students in Ghana. This dataset allows for the evaluation of LLMs in a new context, as they are predominantly designed and trained on data from high-income North American countries. Second, the paper empirically evaluates how well various configurations of generative LLMs grade student short answer responses compared to expert human raters. The findings show that GPT-4, with minimal prompt engineering, performed extremely well on grading the novel dataset (QWK 0.92, F1 0.89), reaching near parity with expert human raters. To our knowledge this work is the first to empirically evaluate the performance of generative LLMs on short answer reading comprehension questions using real student data, with low technical hurdles to attaining this performance. These findings suggest that generative LLMs could be used to grade formative literacy assessment tasks.