Bridging the Novice-Expert Gap via Models of Decision-Making: A Case Study on Remediating Math Mistakes

📄 arXiv: 2310.10648v3 📥 PDF

作者: Rose E. Wang, Qingyang Zhang, Carly Robinson, Susanna Loeb, Dorottya Demszky

分类: cs.CL, cs.AI

发布日期: 2023-10-16 (更新: 2024-04-06)

备注: NAACL 2024. Code: https://github.com/rosewang2008/bridge

🔗 代码/项目: GITHUB

💡 一句话要点

提出Bridge方法以解决新手与专家之间的知识差距

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 教育技术 大型语言模型 认知任务分析 数学辅导 决策模型 新手辅导员 专家知识

📋 核心要点

  1. 现有的辅导平台常常依赖新手辅导员，他们在识别和纠正学生错误方面能力不足，导致学习机会的流失。
  2. 本文提出了Bridge方法，通过认知任务分析将专家的思维过程转化为决策模型，以帮助新手辅导员更有效地进行数学错误的纠正。
  3. 实验结果显示，结合专家决策的GPT-4响应质量显著提高，专家决策的使用使得响应偏好度提升了76%。

📝 摘要（中文）

高质量辅导的规模化仍然是教育中的一大挑战。由于需求增加，许多平台雇佣新手辅导员，他们在处理学生错误时表现不佳，未能抓住重要的学习机会。本文探讨了大型语言模型（LLMs）在弥补数学错误的知识差距中的潜力。我们提出了Bridge方法，通过认知任务分析将专家的潜在思维过程转化为决策模型。我们构建了一个包含700个真实辅导对话的数据集，并评估了最先进的LLMs。结果表明，专家的决策模型对LLMs弥补知识差距至关重要，使用专家决策的GPT-4响应更受欢迎，且上下文敏感的决策显著提升了响应质量。我们的数据集和代码可在GitHub上找到。

🔬 方法详解

问题定义：本文旨在解决新手辅导员在数学辅导中无法有效识别和纠正学生错误的问题。现有方法缺乏对专家思维过程的有效利用，导致辅导效果不佳。

核心思路：我们提出的Bridge方法通过认知任务分析，将专家的决策过程转化为可供新手辅导员使用的模型，帮助他们更好地理解和应用纠正策略。

技术框架：整体架构包括三个主要模块：错误识别、纠正策略选择和意图确认。专家通过分析学生的错误，制定相应的纠正策略，并明确其意图，最终生成响应。

关键创新：最重要的技术创新在于将专家的决策过程嵌入到LLM生成中，显著提升了模型在教育场景中的应用能力，与传统方法相比，提供了更为系统的决策支持。

关键设计：在模型训练中，我们使用了专家标注的700个对话数据集，确保模型能够学习到有效的决策策略。同时，采用了上下文敏感的决策机制，以提高响应的相关性和质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，结合专家决策的GPT-4响应质量显著提高，偏好度提升了76%。而随机决策则导致响应质量下降97%，显示出上下文敏感决策的重要性。

🎯 应用场景

该研究的潜在应用领域包括在线教育平台、智能辅导系统和个性化学习工具。通过将专家的思维过程嵌入到模型中，可以显著提升新手辅导员的教学能力，从而提高学生的学习效果，具有重要的实际价值和未来影响。

📄 摘要（原文）

Scaling high-quality tutoring remains a major challenge in education. Due to growing demand, many platforms employ novice tutors who, unlike experienced educators, struggle to address student mistakes and thus fail to seize prime learning opportunities. Our work explores the potential of large language models (LLMs) to close the novice-expert knowledge gap in remediating math mistakes. We contribute Bridge, a method that uses cognitive task analysis to translate an expert's latent thought process into a decision-making model for remediation. This involves an expert identifying (A) the student's error, (B) a remediation strategy, and (C) their intention before generating a response. We construct a dataset of 700 real tutoring conversations, annotated by experts with their decisions. We evaluate state-of-the-art LLMs on our dataset and find that the expert's decision-making model is critical for LLMs to close the gap: responses from GPT4 with expert decisions (e.g., "simplify the problem") are +76% more preferred than without. Additionally, context-sensitive decisions are critical to closing pedagogical gaps: random decisions decrease GPT4's response quality by -97% than expert decisions. Our work shows the potential of embedding expert thought processes in LLM generations to enhance their capability to bridge novice-expert knowledge gaps. Our dataset and code can be found at: \url{https://github.com/rosewang2008/bridge}.