Automated Evaluation of Classroom Instructional Support with LLMs and BoWs: Connecting Global Predictions to Specific Feedback

📄 arXiv: 2310.01132v4 📥 PDF

作者: Jacob Whitehill, Jennifer LoCasale-Crouch

分类: cs.CL, cs.AI

发布日期: 2023-10-02 (更新: 2024-04-16)

💡 一句话要点

利用大语言模型和词袋模型自动评估课堂教学支持

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 课堂评估 大语言模型 词袋模型 自动化反馈 教学支持 机器学习 教育技术

📋 核心要点

  1. 现有方法在提供教师教学反馈时缺乏具体性和频率，难以满足教师的实际需求。
  2. 本研究提出了一种结合大语言模型和词袋模型的机器学习架构，以自动评估课堂教学支持。
  3. 实验结果显示，所提方法的准确率接近人类评分者，且LLMs在任务表现上优于传统BoW模型。

📝 摘要（中文）

本研究旨在为教师提供更具体、频繁和可操作的教学反馈，探讨如何利用大语言模型（LLMs）估计课堂评估评分系统（CLASS）的“教学支持”领域分数。我们设计了一种机器学习架构，使用Meta的Llama2进行零-shot提示和经典的词袋模型（BoW），对教师的语音进行分类，判断其是否包含教学支持。通过对15分钟观察会话的判断进行汇总，估计全球CLASS分数。实验结果表明，自动估计的CLASS教学支持准确率接近人类评分者的可靠性，LLMs在此任务中通常优于BoW，且模型输出可视化为教师提供可解释的反馈。

🔬 方法详解

问题定义：本研究旨在解决教师在课堂教学中获得具体、频繁和可操作反馈的困难。现有方法往往无法提供足够的细节和准确性，影响教师的教学改进。

核心思路：论文提出了一种结合大语言模型（LLMs）和词袋模型（BoW）的机器学习架构，通过自动化的方式对教师的语音进行分析，从而评估教学支持的质量。这样的设计旨在提高反馈的准确性和实用性。

技术框架：整体架构包括两个主要模块：首先，使用OpenAI的Whisper对教师的语音进行转录；其次，利用Meta的Llama2进行零-shot提示和BoW模型对转录文本进行分类，最终汇总15分钟观察会话的结果以估计CLASS分数。

关键创新：本研究的创新点在于将LLMs与传统的BoW模型相结合，利用两者的优势来提高教学支持的自动评估准确性。这种方法在准确性上接近人类评分者的水平，展示了自动化评估的潜力。

关键设计：在模型设计中，采用了适当的超参数设置以优化性能，并通过多种损失函数进行训练，以确保模型能够有效地捕捉到教学支持的特征。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，所提方法在CLASS教学支持估计中的准确率达到了Pearson相关系数$R$高达0.48，接近人类评分者的0.55。LLMs在任务表现上略优于BoW，且结合两者特征的模型表现最佳，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括教育技术、教师培训和课堂评估系统。通过提供自动化的、可解释的反馈，教师可以更有效地识别和改进其教学策略，从而提升学生的学习效果。未来，该方法可能会扩展到其他教育环境和学科，推动教育评估的智能化进程。

📄 摘要（原文）

With the aim to provide teachers with more specific, frequent, and actionable feedback about their teaching, we explore how Large Language Models (LLMs) can be used to estimate ``Instructional Support'' domain scores of the CLassroom Assessment Scoring System (CLASS), a widely used observation protocol. We design a machine learning architecture that uses either zero-shot prompting of Meta's Llama2, and/or a classic Bag of Words (BoW) model, to classify individual utterances of teachers' speech (transcribed automatically using OpenAI's Whisper) for the presence of Instructional Support. Then, these utterance-level judgments are aggregated over a 15-min observation session to estimate a global CLASS score. Experiments on two CLASS-coded datasets of toddler and pre-kindergarten classrooms indicate that (1) automatic CLASS Instructional Support estimation accuracy using the proposed method (Pearson $R$ up to $0.48$) approaches human inter-rater reliability (up to $R=0.55$); (2) LLMs generally yield slightly greater accuracy than BoW for this task, though the best models often combined features extracted from both LLM and BoW; and (3) for classifying individual utterances, there is still room for improvement of automated methods compared to human-level judgments. Finally, (4) we illustrate how the model's outputs can be visualized at the utterance level to provide teachers with explainable feedback on which utterances were most positively or negatively correlated with specific CLASS dimensions.