Evaluating Large Language Models for automatic analysis of teacher simulations

📄 arXiv: 2407.20360v1 📥 PDF

作者: David de-Fitero-Dominguez, Mariano Albaladejo-González, Antonio Garcia-Cabot, Eva Garcia-Lopez, Antonio Moreno-Cediel, Erin Barno, Justin Reich

分类: cs.AI

发布日期: 2024-07-29

💡 一句话要点

评估大型语言模型在教师模拟自动分析中的应用，Llama 3表现更稳定。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 教师模拟 自动分析 DeBERTaV3 Llama 3 教育评估 自然语言处理

📋 核心要点

  1. 现有数字模拟的开放式问题难以自动分析，限制了其在教师培训中的应用。
  2. 本研究探索使用大型语言模型自动识别教师模拟中的学生行为特征。
  3. 实验对比了DeBERTaV3和Llama 3，发现Llama 3在新特征识别上更稳定。

📝 摘要（中文）

本研究评估了大型语言模型（LLMs）在自动分析教师教育数字模拟（DS）中学生回答的有效性。数字模拟通过对话提示提供安全环境，让用户与智能体互动，提供引人入胜的学习体验，可用于在真实的课堂场景中训练师范生。这些模拟通常包含开放式问题，允许师范生表达想法，但也使自动响应分析变得复杂。为了解决这个问题，我们评估了DeBERTaV3和Llama 3，结合零样本、少样本和微调方法，以识别DS响应中的特征（用户行为）。实验表明，LLM的性能因待识别的特征而异。此外，DeBERTaV3在识别新特征时性能显著下降。相比之下，Llama 3在检测新特征方面表现优于DeBERTaV3，并且表现更稳定。因此，在教师教育者需要引入新特征的DS中，更推荐使用Llama 3。这些结果可以指导其他研究人员引入LLM，以在DS中提供高度需求的自动评估。

🔬 方法详解

问题定义：论文旨在解决教师教育数字模拟中，对师范生开放式回答进行自动分析的难题。现有方法难以有效识别和评估学生在模拟情境中的行为特征，阻碍了数字模拟在教师培训中的广泛应用。

核心思路：论文的核心思路是利用大型语言模型（LLMs）的自然语言理解能力，自动识别学生在数字模拟回答中的行为特征。通过将学生的回答输入LLM，并训练模型识别预定义的行为模式，实现对学生表现的自动评估。

技术框架：该研究的技术框架主要包括数据准备、模型选择与训练、以及性能评估三个阶段。首先，收集师范生在数字模拟中的回答数据，并标注相应的行为特征。然后，选择DeBERTaV3和Llama 3两种LLM，分别采用零样本、少样本和微调等策略进行训练。最后，通过对比不同模型的性能指标，评估其在自动分析教师模拟回答中的有效性。

关键创新：该研究的关键创新在于探索了Llama 3在识别新特征方面的优势。实验结果表明，Llama 3在面对新的、未见过的行为特征时，表现出比DeBERTaV3更强的泛化能力和更稳定的性能。这为在教师教育数字模拟中引入新的评估指标提供了可能性。

关键设计：研究中，针对DeBERTaV3和Llama 3采用了不同的训练策略，包括零样本学习、少样本学习和微调。通过对比不同训练策略下的模型性能，探索了LLM在教师模拟自动分析中的最佳实践。此外，研究还关注了模型在识别新特征时的性能变化，并分析了导致差异的原因。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，Llama 3在识别新特征方面表现优于DeBERTaV3，且性能更稳定。这表明Llama 3更适合于需要不断引入新特征的教师教育数字模拟场景。该研究为其他研究人员在DS中引入LLM以提供自动评估提供了指导。

🎯 应用场景

该研究成果可应用于教师教育领域的数字模拟系统，实现对师范生表现的自动评估和反馈。通过自动识别学生的行为特征，教师可以更有效地了解学生的学习情况，并提供个性化的指导。此外，该技术还可推广到其他教育领域，例如医疗模拟、商业谈判模拟等，提高培训效率和质量。

📄 摘要（原文）

Digital Simulations (DS) provide safe environments where users interact with an agent through conversational prompts, providing engaging learning experiences that can be used to train teacher candidates in realistic classroom scenarios. These simulations usually include open-ended questions, allowing teacher candidates to express their thoughts but complicating an automatic response analysis. To address this issue, we have evaluated Large Language Models (LLMs) to identify characteristics (user behaviors) in the responses of DS for teacher education. We evaluated the performance of DeBERTaV3 and Llama 3, combined with zero-shot, few-shot, and fine-tuning. Our experiments discovered a significant variation in the LLMs' performance depending on the characteristic to identify. Additionally, we noted that DeBERTaV3 significantly reduced its performance when it had to identify new characteristics. In contrast, Llama 3 performed better than DeBERTaV3 in detecting new characteristics and showing more stable performance. Therefore, in DS where teacher educators need to introduce new characteristics because they change depending on the simulation or the educational objectives, it is more recommended to use Llama 3. These results can guide other researchers in introducing LLMs to provide the highly demanded automatic evaluations in DS.