Toward Automated Qualitative Analysis: Leveraging Large Language Models for Tutoring Dialogue Evaluation

📄 arXiv: 2504.13882v1 📥 PDF

作者: Megan Gu, Chloe Qianhui Zhao, Claire Liu, Nikhil Patel, Jahnvi Shah, Jionghao Lin, Kenneth R. Koedinger

分类: cs.HC, cs.CL

发布日期: 2025-04-03

备注: Manuscript accepted to the Workshop on "From Data to Discovery: LLMs for Qualitative Analysis in Education" at LAK25

💡 一句话要点

利用大型语言模型实现辅导对话评估的自动化质性分析

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 辅导对话评估 自动化质性分析 教育技术 GPT-3.5

📋 核心要点

  1. 现有辅导策略评估依赖人工，效率低且成本高，缺乏自动化和可扩展性。
  2. 利用大型语言模型理解和分类辅导对话，判断策略使用是否符合预期。
  3. 实验表明，该方法在排除错误分类方面表现良好，但策略识别能力有待提高。

📝 摘要（中文）

本研究介绍了一种自动化系统，该系统利用大型语言模型（LLM）来评估五个关键辅导策略的有效性：1. 给予有效的赞扬，2. 对错误做出反应，3. 确定学生已知的内容，4. 帮助学生处理不平等现象，5. 回应消极的自言自语。该系统使用来自师生聊天室语料库的公共数据集，将每种辅导策略分类为“按需使用”或“非按需使用”。本研究利用带有少量样本提示的GPT-3.5来评估这些策略的使用情况并分析辅导对话。结果表明，对于这五个辅导策略，真阴性率（TNR）范围为0.655至0.738，召回率范围为0.327至0.432，表明该模型在排除不正确的分类方面有效，但难以始终如一地识别正确的策略。在“帮助学生处理不平等现象”这一策略上表现最佳，TNR为0.738，召回率为0.432。该研究强调了LLM在辅导策略分析中的潜力，并概述了未来改进的方向，包括采用更先进的模型以获得更细致的反馈。

🔬 方法详解

问题定义：论文旨在解决辅导对话评估的自动化问题。现有方法主要依赖人工分析，耗时耗力，且主观性较强，难以大规模应用。因此，如何利用AI技术自动、客观地评估辅导策略的有效性是本研究要解决的核心问题。

核心思路：论文的核心思路是利用大型语言模型（LLM）强大的自然语言理解和生成能力，将辅导对话评估转化为一个分类问题。通过对LLM进行少量样本提示（few-shot prompting），使其能够理解不同辅导策略的定义，并判断对话中策略的使用是否恰当。

技术框架：整体框架包括数据准备、模型选择与训练、评估三个主要阶段。首先，使用Teacher-Student Chatroom Corpus数据集，该数据集包含师生之间的辅导对话。然后，选择GPT-3.5作为基础模型，并使用少量样本提示来指导模型进行分类。最后，使用真阴性率（TNR）和召回率等指标来评估模型的性能。

关键创新：本研究的关键创新在于将大型语言模型应用于辅导对话评估领域，探索了利用LLM进行自动化质性分析的可能性。与传统的基于规则或机器学习的方法相比，LLM具有更强的泛化能力和适应性，能够处理更复杂的对话场景。

关键设计：论文的关键设计在于少量样本提示策略。通过提供少量的标注样本，引导LLM理解不同辅导策略的含义，并学习如何判断对话中策略的使用是否恰当。此外，论文还针对不同的辅导策略设计了特定的提示语，以提高模型的分类准确率。没有提及损失函数和网络结构等细节，因为GPT-3.5是预训练模型。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果表明，该系统在五个关键辅导策略的评估中，真阴性率（TNR）范围为0.655至0.738，召回率范围为0.327至0.432。其中，“帮助学生处理不平等现象”这一策略表现最佳，TNR为0.738，召回率为0.432。这表明该模型能够有效排除不正确的分类，但在识别正确策略方面仍有提升空间。

🎯 应用场景

该研究成果可应用于在线教育平台，为教师提供实时的辅导反馈，帮助教师改进教学方法。此外，还可以用于评估辅导机器人的性能，促进个性化学习的发展。未来，该技术有望应用于更广泛的人机对话场景，提升对话质量和效率。

📄 摘要（原文）

Our study introduces an automated system leveraging large language models (LLMs) to assess the effectiveness of five key tutoring strategies: 1. giving effective praise, 2. reacting to errors, 3. determining what students know, 4. helping students manage inequity, and 5. responding to negative self-talk. Using a public dataset from the Teacher-Student Chatroom Corpus, our system classifies each tutoring strategy as either being employed as desired or undesired. Our study utilizes GPT-3.5 with few-shot prompting to assess the use of these strategies and analyze tutoring dialogues. The results show that for the five tutoring strategies, True Negative Rates (TNR) range from 0.655 to 0.738, and Recall ranges from 0.327 to 0.432, indicating that the model is effective at excluding incorrect classifications but struggles to consistently identify the correct strategy. The strategy \textit{helping students manage inequity} showed the highest performance with a TNR of 0.738 and Recall of 0.432. The study highlights the potential of LLMs in tutoring strategy analysis and outlines directions for future improvements, including incorporating more advanced models for more nuanced feedback.