Sentiment analysis of preservice teachers' reflections using a large language model

📄 arXiv: 2408.11862v1 📥 PDF

作者: Yunsoo Park, Younkyung Hong

分类: cs.CL, cs.AI

发布日期: 2024-08-17

备注: 5 pages, 2 tables, WAIE 2024 (2024 6th International Workshop on Artificial Intelligence and Education)

期刊: 2024 6th International Workshop on Artificial Intelligence and Education (WAIE), Tokyo, Japan, 2024, pp. 61-65

DOI: 10.1109/WAIE63876.2024.00018

💡 一句话要点

利用大型语言模型分析职前教师反思的情感倾向，探索质化、量化与计算分析的融合

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感分析 大型语言模型 职前教师 反思实践 教师教育

📋 核心要点

  1. 传统教师反思分析方法耗时且主观，难以有效整合质化与量化数据。
  2. 本研究探索使用GPT-4、Gemini和BERT等LLM进行情感分析，以自动化分析职前教师的反思。
  3. 通过比较不同LLM的分析结果，旨在为教师教育提供更全面、客观的反思评估方法。

📝 摘要（中文）

本研究利用大型语言模型（LLMs）：GPT-4、Gemini和BERT，对职前教师反思的情感和语气进行了情感分析。我们比较了这些模型的结果，以了解每种工具如何对个体反思和整体的多个反思进行分类和描述。本研究旨在探索弥合教师教育中反思实践的定性、定量和计算分析之间差距的方法。研究发现，为了有效地将LLM分析整合到教师教育中，开发一种既全面又与职前教师和教师教育者相关的分析方法和结果形式至关重要。

🔬 方法详解

问题定义：本研究旨在解决教师教育领域中，对职前教师反思进行情感分析时，传统方法效率低、主观性强的问题。现有方法依赖人工阅读和标注，耗时费力，且不同评估者之间可能存在偏差。此外，难以将质性的反思内容转化为可量化的数据，不利于大规模分析和趋势发现。

核心思路：本研究的核心思路是利用大型语言模型（LLMs）强大的自然语言处理能力，自动分析职前教师反思文本中的情感倾向。通过将反思文本输入LLM，获取情感极性（如积极、消极、中性）和情感强度等信息，从而实现对反思内容的情感量化。

技术框架：本研究的技术框架主要包括数据收集、模型选择与配置、情感分析和结果比较四个阶段。首先，收集职前教师的反思文本数据。然后，选择GPT-4、Gemini和BERT三种不同的LLM，并根据任务需求进行配置。接下来，使用这些LLM对反思文本进行情感分析，得到情感极性和强度等指标。最后，比较不同LLM的分析结果，评估其在教师反思情感分析任务中的表现。

关键创新：本研究的关键创新在于将先进的LLM技术应用于教师教育领域，探索自动化情感分析在职前教师反思评估中的应用。与传统方法相比，LLM能够更快速、更客观地分析大量反思文本，并提供更细粒度的情感信息。此外，本研究还比较了不同LLM的性能，为选择合适的模型提供了参考。

关键设计：研究中，LLM的使用方式主要为zero-shot或few-shot learning，即直接输入反思文本，并要求模型输出情感极性和强度。具体参数设置取决于所选LLM的API或库的默认配置。例如，对于BERT模型，可能需要使用预训练的情感分类模型，并根据具体任务进行微调。对于GPT-4和Gemini，可以通过prompt engineering来引导模型进行情感分析。

📊 实验亮点

研究对比了GPT-4、Gemini和BERT三种LLM在职前教师反思情感分析中的表现，发现不同模型在情感分类和描述方面存在差异。研究结果表明，LLM在自动化情感分析方面具有潜力，但需要根据具体任务和数据特点选择合适的模型，并进行适当的调整和优化。

🎯 应用场景

该研究成果可应用于教师教育领域，为职前教师提供个性化的反思反馈，帮助他们更好地理解自身的情感状态和教学实践。同时，可以为教师教育者提供更全面、客观的反思评估数据，用于改进教学方法和课程设计。未来，该方法还可扩展到其他教育领域，如学生作业评估、课堂讨论分析等。

📄 摘要（原文）

In this study, the emotion and tone of preservice teachers' reflections were analyzed using sentiment analysis with LLMs: GPT-4, Gemini, and BERT. We compared the results to understand how each tool categorizes and describes individual reflections and multiple reflections as a whole. This study aims to explore ways to bridge the gaps between qualitative, quantitative, and computational analyses of reflective practices in teacher education. This study finds that to effectively integrate LLM analysis into teacher education, developing an analysis method and result format that are both comprehensive and relevant for preservice teachers and teacher educators is crucial.