Exploring Automated Distractor Generation for Math Multiple-choice Questions via Large Language Models

📄 arXiv: 2404.02124v3 📥 PDF

作者: Wanyong Feng, Jaewook Lee, Hunter McNichols, Alexander Scarlatos, Digory Smith, Simon Woodhead, Nancy Otero Ornelas, Andrew Lan

分类: cs.CL

发布日期: 2024-04-02 (更新: 2024-04-18)

备注: NAACL 2024 findings

💡 一句话要点

基于大型语言模型的数学选择题干扰项自动生成研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 选择题生成 干扰项设计 大型语言模型 教育技术 自动化评估

📋 核心要点

  1. 现有方法在生成高质量干扰项时，仍需大量人工干预，缺乏可扩展性。
  2. 本文提出利用大型语言模型自动生成数学选择题的干扰项，探索多种生成策略。
  3. 实验结果表明，虽然LLM能生成有效干扰项，但在捕捉学生常见错误方面仍存在不足。

📝 摘要（中文）

选择题在各级教育中广泛应用，因其易于管理和评分，且在评估中可靠。干扰项，即设计用于针对学生常见错误或误解的错误选项，是选择题的重要组成部分。目前，制作高质量干扰项仍然是教师和学习内容设计者耗时耗力的过程，限制了其可扩展性。本文研究了数学选择题中干扰项的自动生成任务，探索了多种基于大型语言模型（LLM）的方法，包括上下文学习和微调。通过对真实数学选择题数据集的广泛实验，发现尽管LLM能够生成一些数学上有效的干扰项，但在预测学生常见错误或误解方面表现不佳。

🔬 方法详解

问题定义：本文旨在解决数学选择题中干扰项生成的自动化问题。现有方法依赖人工设计，耗时且难以扩展，无法满足大规模教育需求。

核心思路：通过利用大型语言模型（LLM），本文探索了多种生成策略，包括上下文学习和微调，以实现干扰项的自动生成，旨在提高生成效率和质量。

技术框架：研究采用了基于LLM的生成框架，主要包括数据预处理、模型训练（上下文学习与微调）、干扰项生成和评估四个阶段。

关键创新：本文的创新点在于将LLM应用于干扰项生成，探索了不同的生成策略，并通过实证研究验证其有效性，填补了现有方法在自动化生成方面的空白。

关键设计：在模型训练中，采用了特定的损失函数以优化生成质量，并调整了模型参数以适应数学题目的特性，确保生成的干扰项在数学上有效。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，虽然大型语言模型能够生成一些数学上有效的干扰项，但在预测学生常见错误或误解方面的表现仍显不足。具体而言，生成的干扰项在有效性上有所提升，但未能显著提高对学生错误理解的针对性。

🎯 应用场景

该研究的潜在应用领域包括教育技术、在线学习平台和智能评估系统。通过自动生成干扰项，可以大幅提高题库的构建效率，减轻教师负担，促进个性化学习和评估的实现，未来可能对教育行业产生深远影响。

📄 摘要（原文）

Multiple-choice questions (MCQs) are ubiquitous in almost all levels of education since they are easy to administer, grade, and are a reliable format in assessments and practices. One of the most important aspects of MCQs is the distractors, i.e., incorrect options that are designed to target common errors or misconceptions among real students. To date, the task of crafting high-quality distractors largely remains a labor and time-intensive process for teachers and learning content designers, which has limited scalability. In this work, we study the task of automated distractor generation in the domain of math MCQs and explore a wide variety of large language model (LLM)-based approaches, from in-context learning to fine-tuning. We conduct extensive experiments using a real-world math MCQ dataset and find that although LLMs can generate some mathematically valid distractors, they are less adept at anticipating common errors or misconceptions among real students.