An Automatic Question Usability Evaluation Toolkit

📄 arXiv: 2405.20529v1 📥 PDF

作者: Steven Moore, Eamon Costello, Huy A. Nguyen, John Stamper

分类: cs.AI, cs.CL

发布日期: 2024-05-30

备注: Artificial Intelligence in Education 2024

💡 一句话要点

提出SAQUET工具包，利用大型语言模型自动评估多选题质量，解决传统方法忽略深层设计缺陷的问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多选题评估 自动评估 大型语言模型 教育评估 Item-Writing Flaws

📋 核心要点

  1. 现有自动评估多选题的方法侧重于可读性，忽略了更深层次的问题设计缺陷，导致评估结果不准确。
  2. SAQUET工具包利用大型语言模型和IWF准则，能够自动检测和评估多选题中的多种设计缺陷。
  3. 实验表明，SAQUET在识别多选题缺陷方面的准确率超过94%，优于传统评估方法，提升了评估质量。

📝 摘要（中文）

本文介绍了一个可扩展的自动问题可用性评估工具包（SAQUET），这是一个开源工具，利用Item-Writing Flaws (IWF) 准则对多选题（MCQ）进行全面和自动的质量评估。SAQUET利用GPT-4等大型语言模型、高级词嵌入和Transformer来分析文本复杂性，有效地识别和评估MCQ中的各种缺陷。研究首先展示了常用自动评估指标与人工评估MCQ质量之间的差异。然后，在化学、统计学、计算机科学、人文科学和医疗保健五个领域的MCQ数据集上评估SAQUET，表明它可以有效地区分有缺陷和无缺陷的问题，提供超越传统指标的分析水平。在检测人工评估者识别的缺陷方面，准确率超过94%，强调了现有评估方法的局限性，并展示了提高教育评估质量的潜力。

🔬 方法详解

问题定义：论文旨在解决多选题（MCQ）质量评估中，现有自动方法无法有效识别深层设计缺陷的问题。传统方法主要关注可读性，忽略了诸如歧义、暗示答案、不相关选项等影响题目可用性的关键因素，导致评估结果与人工评估存在较大差异。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大文本理解和推理能力，结合Item-Writing Flaws (IWF) 准则，构建一个能够自动识别和评估MCQ中各种设计缺陷的工具。通过模拟人工评估过程，SAQUET能够更全面、准确地评估MCQ的质量。

技术框架：SAQUET工具包的整体框架包括以下几个主要模块：1) 数据预处理：对MCQ文本进行清洗和格式化；2) 特征提取：利用大型语言模型（如GPT-4）、高级词嵌入和Transformer等技术，提取MCQ文本的语义特征和结构特征；3) 缺陷检测：基于IWF准则，利用机器学习模型（具体模型类型未知）对提取的特征进行分析，判断MCQ是否存在设计缺陷；4) 评估报告生成：生成包含缺陷类型、位置和严重程度的评估报告。

关键创新：SAQUET的关键创新在于将大型语言模型和IWF准则相结合，实现了对MCQ深层设计缺陷的自动识别和评估。与传统方法相比，SAQUET能够更全面地考虑影响MCQ质量的各种因素，提供更准确、更可靠的评估结果。

关键设计：论文中未详细描述关键参数设置、损失函数、网络结构等技术细节。使用了GPT-4等大型语言模型，并结合了高级词嵌入和Transformer等技术来提取文本特征。具体缺陷检测模型未知，但推测可能使用了分类模型来判断是否存在某种类型的缺陷。

📊 实验亮点

SAQUET在包含化学、统计学、计算机科学、人文科学和医疗保健五个领域的MCQ数据集上进行了评估，结果表明其在检测人工评估者识别的缺陷方面的准确率超过94%。这显著优于传统自动评估方法，证明了SAQUET在评估多选题质量方面的有效性。

🎯 应用场景

SAQUET工具包可广泛应用于教育领域，辅助教师和命题人员设计高质量的多选题，提高考试的信度和效度。该工具还可以用于大规模在线教育平台，自动评估题库中题目的质量，提升学习体验。未来，SAQUET有望扩展到其他类型的教育评估题目，例如简答题和论述题。

📄 摘要（原文）

Evaluating multiple-choice questions (MCQs) involves either labor intensive human assessments or automated methods that prioritize readability, often overlooking deeper question design flaws. To address this issue, we introduce the Scalable Automatic Question Usability Evaluation Toolkit (SAQUET), an open-source tool that leverages the Item-Writing Flaws (IWF) rubric for a comprehensive and automated quality evaluation of MCQs. By harnessing the latest in large language models such as GPT-4, advanced word embeddings, and Transformers designed to analyze textual complexity, SAQUET effectively pinpoints and assesses a wide array of flaws in MCQs. We first demonstrate the discrepancy between commonly used automated evaluation metrics and the human assessment of MCQ quality. Then we evaluate SAQUET on a diverse dataset of MCQs across the five domains of Chemistry, Statistics, Computer Science, Humanities, and Healthcare, showing how it effectively distinguishes between flawed and flawless questions, providing a level of analysis beyond what is achievable with traditional metrics. With an accuracy rate of over 94% in detecting the presence of flaws identified by human evaluators, our findings emphasize the limitations of existing evaluation methods and showcase potential in improving the quality of educational assessments.