Automated Generation and Tagging of Knowledge Components from Multiple-Choice Questions

📄 arXiv: 2405.20526v1 📥 PDF

作者: Steven Moore, Robin Schmucker, Tom Mitchell, John Stamper

分类: cs.AI, cs.CL

发布日期: 2024-05-30

备注: Learning @ Scale 2024

DOI: 10.1145/3657604.3662030

💡 一句话要点

利用GPT-4自动生成和标注多选题的知识组件，提升教学评估效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识组件 大型语言模型 GPT-4 多选题 自动标注 本体归纳 教育评估

📋 核心要点

  1. 现有方法在生成和关联知识组件(KCs)时，需要大量人工参与和领域知识，效率低下。
  2. 利用GPT-4生成多选题的KCs，并开发本体归纳算法对问题进行聚类，无需学生数据或预定义标签。
  3. 实验表明，GPT-4生成的KCs在化学和在线学习领域表现良好，且更受领域专家青睐，聚类算法有效。

📝 摘要（中文）

知识组件(KCs)与评估的关联能够增强学生学习的衡量、丰富分析并促进自适应学习。然而，生成KCs并将其与评估项目关联需要大量的精力和领域知识。为了简化高等教育课程的这一过程，我们使用GPT-4为化学和在线学习中的多项选择题(MCQs)生成KCs。我们分析了大型语言模型(LLM)生成的KCs与人工生成的KCs之间的差异，通过每个学科领域的三位领域专家的评估。该评估旨在确定，在KCs不匹配的情况下，评估者是否更喜欢LLM生成的KCs而不是人工创建的KCs。我们还开发了一种本体归纳算法，用于根据问题的上下文对评估相似KCs的问题进行聚类。我们最有效的LLM策略准确匹配了56%的化学和35%的在线学习MCQs的KCs，如果考虑前五个KC建议，成功率甚至更高。人类评估者更喜欢LLM生成的KCs，选择它们的次数大约是人工分配的KCs的三分之二，这种偏好在两个领域都具有统计学意义。我们的聚类算法成功地按其底层KCs对问题进行分组，而无需显式标签或上下文信息。这项研究推进了评估项目的KC生成和分类的自动化，减轻了对学生数据或预定义KC标签的需求。

🔬 方法详解

问题定义：论文旨在解决高等教育领域中，手动生成和标注多选题知识组件(KCs)耗时耗力的问题。现有方法依赖于领域专家的人工标注，成本高昂且难以扩展。此外，缺乏自动化的知识组件聚类方法，难以有效组织和利用这些知识组件。

核心思路：论文的核心思路是利用大型语言模型(LLM)，特别是GPT-4，自动生成多选题的知识组件。同时，开发一种本体归纳算法，无需显式标签或上下文信息，即可对问题进行聚类，从而实现知识组件的自动分类和组织。这种方法旨在减少人工干预，提高效率，并降低成本。

技术框架：整体框架包括两个主要阶段：1) 使用GPT-4生成多选题的知识组件；2) 使用本体归纳算法对问题进行聚类。第一阶段，将多选题的题干输入GPT-4，生成候选的知识组件列表。第二阶段，利用本体归纳算法，根据问题的内容和生成的知识组件，将评估相似KCs的问题进行聚类。

关键创新：论文的关键创新在于：1) 利用大型语言模型自动生成知识组件，显著减少了人工标注的工作量；2) 提出了一种无需显式标签或上下文信息的本体归纳算法，实现了知识组件的自动聚类。这种方法摆脱了对学生数据或预定义KC标签的依赖，具有更强的通用性和可扩展性。

关键设计：论文的关键设计包括：1) 针对GPT-4的prompt工程，设计有效的prompt，以提高知识组件生成的准确性和相关性；2) 本体归纳算法的具体实现，包括特征提取、相似度计算和聚类算法的选择；3) 领域专家的评估方法，用于验证GPT-4生成的知识组件的质量和有效性。

📊 实验亮点

实验结果表明，GPT-4能够准确匹配56%的化学和35%的在线学习MCQs的KCs。当考虑前五个KC建议时，准确率更高。领域专家评估结果显示，他们更倾向于选择GPT-4生成的KCs，选择它们的次数大约是人工分配的KCs的三分之二，且具有统计学意义。聚类算法能够成功地按其底层KCs对问题进行分组，无需显式标签或上下文信息。

🎯 应用场景

该研究成果可应用于在线教育平台、智能题库构建、自适应学习系统等领域。通过自动生成和标注知识组件，可以更有效地评估学生的学习情况，并为学生提供个性化的学习资源和建议。此外，该技术还可以用于教师备课和课程设计，帮助教师更好地理解学生的知识掌握情况，并针对性地调整教学内容。

📄 摘要（原文）

Knowledge Components (KCs) linked to assessments enhance the measurement of student learning, enrich analytics, and facilitate adaptivity. However, generating and linking KCs to assessment items requires significant effort and domain-specific knowledge. To streamline this process for higher-education courses, we employed GPT-4 to generate KCs for multiple-choice questions (MCQs) in Chemistry and E-Learning. We analyzed discrepancies between the KCs generated by the Large Language Model (LLM) and those made by humans through evaluation from three domain experts in each subject area. This evaluation aimed to determine whether, in instances of non-matching KCs, evaluators showed a preference for the LLM-generated KCs over their human-created counterparts. We also developed an ontology induction algorithm to cluster questions that assess similar KCs based on their content. Our most effective LLM strategy accurately matched KCs for 56% of Chemistry and 35% of E-Learning MCQs, with even higher success when considering the top five KC suggestions. Human evaluators favored LLM-generated KCs, choosing them over human-assigned ones approximately two-thirds of the time, a preference that was statistically significant across both domains. Our clustering algorithm successfully grouped questions by their underlying KCs without needing explicit labels or contextual information. This research advances the automation of KC generation and classification for assessment items, alleviating the need for student data or predefined KC labels.