Supervised Fine-Tuning LLMs to Behave as Pedagogical Agents in Programming Education

📄 arXiv: 2502.20527v1 📥 PDF

作者: Emily Ross, Yuval Kansal, Jake Renzella, Alexandra Vassar, Andrew Taylor

分类: cs.CL, cs.CY

发布日期: 2025-02-27

💡 一句话要点

提出GuideLM：通过监督微调LLM，使其在编程教育中作为教学助手

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 监督微调 编程教育 教学助手 教育技术

📋 核心要点

  1. 现有LLM在编程教育中存在过度辅助问题，直接提供答案而非引导学生思考，限制了学习效果。
  2. 通过监督微调LLM，使其能够提供更具教学意义的反馈，例如概念引导和苏格拉底式提问。
  3. 实验表明，微调后的GuideLM在苏格拉底式指导和用词经济性方面有所提升，但准确性略有下降。

📝 摘要（中文）

大型语言模型(LLMs)在高等教育中的应用日益增多，但它们作为教学助手的有效性仍未得到充分研究。本文介绍了GuideLM的开发，这是一种为编程教育而设计的微调LLM。GuideLM已集成到调试C编译器(DCC)中，DCC是一种利用LLM生成教学上合理的错误解释的教育C编译器。之前，DCC依赖于现成的OpenAI模型，这些模型虽然准确，但经常过度帮助学生，直接提供解决方案，尽管提示相反。为了解决这个问题，我们对一个包含528个学生问题/教师答案对的数据集进行了监督微调(SFT)，创建了两个模型：GuideLM和GuideLM-mini，分别在ChatGPT-4o和4o-mini上进行微调。我们对每个模型的400个响应进行了专家分析，将其教学有效性与基础OpenAI模型进行了比较。我们的评估基于建构主义和认知负荷理论，评估了概念支架、清晰度和苏格拉底式指导等因素。结果表明，GuideLM和GuideLM-mini提高了教学性能，与GPT-4o相比，苏格拉底式指导增加了8%，用词经济性提高了58%。然而，这种改进是以一般准确性的略微降低为代价的。虽然还需要进一步的工作，但我们的研究结果表明，使用目标数据集对LLM进行微调是开发更适合教育环境的模型的有希望的方法。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在编程教育中作为教学助手时，过度辅助学生的问题。现有的LLMs，如OpenAI模型，倾向于直接给出答案，而不是引导学生自己思考和解决问题，这不利于学生深入理解概念和培养解决问题的能力。这种过度辅助是现有方法的一个主要痛点。

核心思路：论文的核心思路是通过监督微调（Supervised Fine-Tuning, SFT）LLMs，使其能够提供更具教学意义的反馈。具体来说，就是让LLM学习如何像一个优秀的老师一样，通过概念引导、苏格拉底式提问等方式，帮助学生逐步理解和解决问题，而不是直接给出答案。这样设计的目的是为了提高学生的学习效果和问题解决能力。

技术框架：整体框架包括以下几个主要步骤：1) 构建包含学生问题和教师答案的数据集。2) 选择合适的LLM作为基础模型，例如ChatGPT-4o和4o-mini。3) 使用数据集对基础模型进行监督微调，得到GuideLM和GuideLM-mini。4) 对微调后的模型进行评估，比较其与基础模型在教学有效性方面的差异。评估指标包括概念支架、清晰度和苏格拉底式指导等。

关键创新：论文的关键创新在于使用监督微调的方法，将LLM训练成更适合教育场景的教学助手。与直接使用现成的LLM相比，微调后的GuideLM能够更好地理解学生的学习需求，并提供更具针对性的指导。此外，论文还提出了基于建构主义和认知负荷理论的评估方法，用于评估LLM的教学有效性。

关键设计：论文使用了包含528个学生问题/教师答案对的数据集进行微调。数据集的质量对微调效果至关重要。论文没有详细说明数据集的构建过程，但可以推测，数据集需要包含各种类型的编程问题和对应的教学性答案。此外，论文还使用了ChatGPT-4o和4o-mini作为基础模型，并可能调整了微调过程中的一些超参数，以获得更好的效果。具体的损失函数和网络结构等技术细节未在摘要中提及，属于未知信息。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，与GPT-4o相比，GuideLM和GuideLM-mini在苏格拉底式指导方面提高了8%，用词经济性提高了58%。这些数据表明，通过监督微调，LLM在教学有效性方面可以得到显著提升。虽然准确性略有下降，但总体而言，微调后的模型更适合作为编程教育的教学助手。

🎯 应用场景

该研究成果可应用于在线编程教育平台、智能辅导系统等领域，为学生提供个性化的编程学习指导。通过将LLM训练成优秀的教学助手，可以有效提高学生的学习效率和问题解决能力，促进编程教育的普及和发展。未来，该方法还可以扩展到其他学科的教育领域。

📄 摘要（原文）

Large language models (LLMs) are increasingly being explored in higher education, yet their effectiveness as teaching agents remains underexamined. In this paper, we present the development of GuideLM, a fine-tuned LLM designed for programming education. GuideLM has been integrated into the Debugging C Compiler (DCC), an educational C compiler that leverages LLMs to generate pedagogically sound error explanations. Previously, DCC relied on off-the-shelf OpenAI models, which, while accurate, often over-assisted students by directly providing solutions despite contrary prompting. To address this, we employed supervised fine-tuning (SFT) on a dataset of 528 student-question/teacher-answer pairs, creating two models: GuideLM and GuideLM-mini, fine-tuned on ChatGPT-4o and 4o-mini, respectively. We conducted an expert analysis of 400 responses per model, comparing their pedagogical effectiveness against base OpenAI models. Our evaluation, grounded in constructivism and cognitive load theory, assessed factors such as conceptual scaffolding, clarity, and Socratic guidance. Results indicate that GuideLM and GuideLM-mini improve pedagogical performance, with an 8% increase in Socratic guidance and a 58% improvement in economy of words compared to GPT-4o. However, this refinement comes at the cost of a slight reduction in general accuracy. While further work is needed, our findings suggest that fine-tuning LLMs with targeted datasets is a promising approach for developing models better suited to educational contexts.