Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions

📄 arXiv: 2609.27749v1 📥 PDF

作者: Michael Lawrence Castanares, Princess Ventures, Allan Tan

分类: cs.AI, cs.CL, cs.LG

发布日期: 2026-09-23

备注: 12 pages, 5 figures, 5 tables

💡 一句话要点

评估预训练模型以解决AI辅助教育问题的教学评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 教学评估 AI辅助教育 模型评估 特征工程 机器学习 大型语言模型 Bloom分类器 分布外数据集

📋 核心要点

  1. 现有的AI辅助教育材料生成速度快，但缺乏有效的教学质量验证方法，导致评估准确性不足。
  2. 论文提出通过评估传统机器学习、变换器和大型语言模型，结合特征工程策略来提升模型在分布外数据集上的表现。
  3. 实验结果显示，BERT和大型语言模型在OOD数据集上表现优异，文本拼接和模型重训练显著提高了分类性能。

📝 摘要（中文）

随着AI辅助教育材料生成的快速发展，我们在验证其教学质量方面的能力却滞后。使用Bloom分类器模型进行自动评估是一种有前景的方法，能够大规模评估教育材料。然而，当将这些模型应用于新的分布外（OOD）数据集时，性能可能会下降。为识别在数据集转移下的稳健分类器，本文评估了传统机器学习、变换器和大型语言模型在Bloom级别分类任务中的表现。实验结果表明，TFPOS-IDF模型在OOD上的表现较差，而BERT和大型语言模型表现更佳。通过文本拼接和学习目标的附加输入，模型性能得到了显著提升。

🔬 方法详解

问题定义：本文旨在解决AI辅助生成的教育问题在教学评估中的性能下降，尤其是在分布外数据集上的准确性不足。现有的Bloom分类器模型在分布内数据集上表现良好，但在新数据集上性能显著下降。

核心思路：论文的核心思路是通过评估不同类型的模型（传统机器学习、变换器和大型语言模型）并结合特征工程策略，来提高模型在OOD数据集上的鲁棒性和准确性。通过引入学习目标作为输入和文本拼接，旨在稳定模型性能。

技术框架：整体架构包括数据集准备、模型选择与评估、特征工程策略的实施以及模型重训练。主要模块包括数据预处理、模型训练与评估、特征增强和性能比较。

关键创新：本文的主要创新在于结合了特征工程策略（如文本拼接和学习目标附加输入）来提升模型在OOD数据集上的表现，这与传统方法仅依赖于模型本身的训练不同。

关键设计：在实验中，TFPOS-IDF模型的宏F1分数为0.48，而BERT和大型语言模型分别为0.55和0.79。通过文本拼接，BERT和TFPOS-IDF的宏F1分数分别提升至0.62和0.59，模型重训练则带来了最大的性能提升。具体的参数设置和损失函数设计在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TFPOS-IDF模型在OOD数据集上的宏F1分数为0.48，而BERT和大型语言模型分别为0.55和0.79。通过文本拼接，BERT和TFPOS-IDF的宏F1分数分别提升至0.62和0.59，模型重训练则显著提高了各模型的整体性能，展示了特征增强策略的有效性。

🎯 应用场景

该研究的潜在应用领域包括教育技术、在线学习平台和智能辅导系统。通过提高AI生成教育材料的评估准确性，可以更好地支持教育工作者和学习者，提升学习效果。未来，随着AI技术的不断发展，该方法可能会在更广泛的教育场景中得到应用，推动个性化学习的实现。

📄 摘要（原文）

The surge in AI-assisted generation of educational materials has outpaced our capacity to validate their pedagogical quality. Automated evaluation using Bloom Classifier models is a promising approach to assess educational materials at scale. These models show high accuracy within-distribution dataset (IID Dataset). However, applying the same models to new out-of-distribution (OOD) datasets such as AI-assisted generated questions could show performance degradation. To identify robust classifiers under dataset shift, we evaluated traditional Machine Learning (ML), transformer, and Large Language models on the Bloom level classification task. We also explored feature-engineering strategies incorporating NLP metrics, appending the learning objectives as part of the input, and text splicing to stabilize OOD performance. Our baseline tests show that TFPOS-IDF ML models perform poorly on OOD (Macro F1-score 0.48) compared to BERT (0.55) and LLMs (0.79). Text splicing improved macro F1-score performance of ML and BERT models (0.59 and 0.62, respectively). Appending the learning objectives with the input increased model performance on specific dataset. Model retraining provided the largest improvement across models and datasets. Overall, these findings highlight the trade-off on the use of pre-trained models with novel AI-assisted educational questions and how strategic feature enhancements help address loss in performance.