"Mistakes Help Us Grow": Facilitating and Evaluating Growth Mindset Supportive Language in Classrooms

📄 arXiv: 2310.10637v1 📥 PDF

作者: Kunal Handa, Margaret Clapper, Jessica Boyle, Rose E Wang, Diyi Yang, David S Yeager, Dorottya Demszky

分类: cs.CL

发布日期: 2023-10-16

备注: In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing

💡 一句话要点

利用大型语言模型支持教师的成长型思维语言

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 成长型思维 语言模型 教育技术 教师培训 自动化指导

📋 核心要点

  1. 现有方法中，教师在课堂上实施成长型思维支持语言面临困难，缺乏有效的指导和反馈。
  2. 论文提出利用大型语言模型提供自动化的个性化指导，帮助教师将不支持的语言重构为GMSL。
  3. 实验结果显示，教师和学生均认为模型生成的重构更有效，且模型的表现优于GMSL训练的教师。

📝 摘要（中文）

教师的成长型思维支持语言（GMSL）强调技能可以随着时间改善，已被证明能显著减少学业成就差异并提升学生学习效果。然而，教师在实践中采用GMSL面临困难，缺乏有效的指导。本文探讨大型语言模型（LLMs）是否能提供自动化、个性化的指导以支持教师使用GMSL。研究建立了一个有效的指导工具，通过开发平行数据集、GMSL提示框架和基于心理学理论的评估框架，进行大规模评估，发现教师和学生均认为GMSL训练的教师和模型的重构更有效，且模型生成的重构效果优于GMSL训练的教师。这些结果展示了LLMs在教育领域的潜力。

🔬 方法详解

问题定义：本文旨在解决教师在课堂上实施成长型思维支持语言（GMSL）时的困难，尤其是缺乏有效的指导和反馈机制。现有方法未能有效支持教师在实践中应用GMSL，导致其难以改善学生的学习效果。

核心思路：论文的核心思路是利用大型语言模型（LLMs）提供自动化、个性化的指导，帮助教师将不支持的语言重构为成长型思维支持语言。通过这种方式，教师能够更有效地促进学生的成长型思维和挑战性行为。

技术框架：整体架构包括三个主要模块：首先，开发一个平行数据集，包含GMSL训练的教师对不支持性陈述的重构示例；其次，构建GMSL提示框架，用于修正教师的非支持性语言；最后，建立一个基于心理学理论的评估框架，以评估GMSL的有效性。

关键创新：最重要的技术创新点在于利用LLMs自动生成GMSL重构，且实验结果表明模型生成的重构效果优于经过GMSL训练的教师。这一方法在教育领域的应用潜力巨大。

关键设计：在关键设计方面，论文详细描述了数据集的构建过程、提示框架的设计，以及评估框架的心理学理论基础，确保了模型生成的重构能够有效支持教师的语言使用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，174名教师和1006名学生参与评估，教师和学生均认为模型生成的重构在促进成长型思维和挑战性行为方面更为有效。模型生成的重构效果优于GMSL训练的教师，展示了LLMs在教育领域的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括教育技术、教师培训和课堂管理等。通过提供自动化的GMSL反馈，教师能够更有效地促进学生的成长型思维，进而提升学生的学习效果和挑战性行为。未来，该方法可能在更广泛的教育环境中得到应用，推动教育公平和学生发展。

📄 摘要（原文）

Teachers' growth mindset supportive language (GMSL)--rhetoric emphasizing that one's skills can be improved over time--has been shown to significantly reduce disparities in academic achievement and enhance students' learning outcomes. Although teachers espouse growth mindset principles, most find it difficult to adopt GMSL in their practice due the lack of effective coaching in this area. We explore whether large language models (LLMs) can provide automated, personalized coaching to support teachers' use of GMSL. We establish an effective coaching tool to reframe unsupportive utterances to GMSL by developing (i) a parallel dataset containing GMSL-trained teacher reframings of unsupportive statements with an accompanying annotation guide, (ii) a GMSL prompt framework to revise teachers' unsupportive language, and (iii) an evaluation framework grounded in psychological theory for evaluating GMSL with the help of students and teachers. We conduct a large-scale evaluation involving 174 teachers and 1,006 students, finding that both teachers and students perceive GMSL-trained teacher and model reframings as more effective in fostering a growth mindset and promoting challenge-seeking behavior, among other benefits. We also find that model-generated reframings outperform those from the GMSL-trained teachers. These results show promise for harnessing LLMs to provide automated GMSL feedback for teachers and, more broadly, LLMs' potentiality for supporting students' learning in the classroom. Our findings also demonstrate the benefit of large-scale human evaluations when applying LLMs in educational domains.